电力隐私计算流程互联互通调度方法、系统、设备和介质与流程

本发明涉及隐私计算，具体涉及一种电力隐私计算流程互联互通调度方法、系统、设备和介质。

背景技术：

1、数据安全及隐私保护的需要催生了隐私计算技术在电力行业的新应用，各隐私计算厂商的隐私计算平台通常基于不同的技术架构和算法协议，使得平台实现具有极大的差异性，难以直接实现平台间的互联互通；

2、现有隐私计算平台流程作业调度实现各不相同，大多是elastic-job，activity，apache airflow等开源框架实现或者自定义实现。这样带来两个问题：一是定义的流程作业模板没有统一的标准，每种技术框架都会有自己的描述，不同的技术平台只能识别私有的定义，拿到其它平台便无法识别。二是开源流程作业编排调度框架是通用技术，并不完全适用于隐私计算，隐私计算作业编排调度只用到开源调度框架中的小部分功能，且每种开源框架的技术都不一样，不同技术实现的无法直接调用。三是还没有一种能根据隐私计算算法任务特点进行cpu和内存资源智能分配调度的技术。

技术实现思路

1、为了解决现有技术中各隐私计算厂商的电力隐私计算平台难以直接实现平台间的互联互通导致计算效率较低的问题，本发明提出一种电力隐私计算流程互联互通调度方法，包括：

2、提取多方电力隐私计算平台信息，构建电力隐私计算流程作业调度模版；

3、对所述电力隐私计算流程作业调度模版的配置信息进行描述，得到电力隐私计算作业任务配置信息；

4、解析所述电力隐私计算流程作业调度模版以及电力隐私计算作业任务配置信息，生成电力隐私计算作业和任务，并根据所述电力隐私计算作业和任务，预测算力需求并进行电力隐私计算流程互联互通调度。

5、优选的，所述提取多方电力隐私计算平台信息，构建电力隐私计算流程作业调度模版，包括：

6、提取多方电力隐私计算平台信息，构建电力隐私计算算法组件；

7、根据所述电力隐私计算算法组件，构建电力隐私计算流程作业调度模版。

8、优选的，所述根据所述电力隐私计算算法组件，构建电力隐私计算流程作业调度模版，包括：

9、采用组件元素对所有所述电力隐私计算算法组件进行表示；

10、采用名称元素作为各电力隐私计算算法组件的唯一标识符；

11、采用输入元素表示各电力隐私计算算法组件的输入，并采用输出元素表示各电力隐私计算算法组件的输出；

12、采用数据元素作为输入元素和输出元素的下级元素，对所述电力隐私计算算法组件的类型和名称；

13、将所述组件元素、名称元素、输入元素、输出元素和数据元素设为json结构的对象，得到json结构的电力隐私计算流程作业调度模版。

14、优选的，所述对所述电力隐私计算流程作业调度模版的配置信息进行描述，得到电力隐私计算作业任务配置信息，包括：

15、对所述电力隐私计算流程作业调度模版的配置信息进行描述，得到电力隐私计算作业参与方信息；

16、根据所述电力隐私计算作业参与方信息，确定电力隐私计算作业任务配置信息。

17、优选的，所述根据所述电力隐私计算作业参与方信息，确定电力隐私计算作业任务配置信息，包括：

18、采用发起人元素对电力隐私计算作业参与方的角色和系统节点标识符进行表示；

19、采用角色元素对电力隐私计算作业参与方的角色以及个数进行表示，采用节点标识元素对所述角色对应的系统节点标识符进行表示；

20、采用作业参数元素对电力隐私计算的作业配置信息进行描述；

21、采用任务参数元素对电力隐私计算的任务配置信息进行描述；

22、将所述发起人元素、角色元素、节点标识元素、作业参数元素和任务参数元素设为json结构的对象，得到json结构的生成电力隐私计算作业任务配置信息。

23、优选的，所述根据所述电力隐私计算作业和任务，进行电力隐私计算流程互联互通调度，包括：

24、根据所述电力隐私计算作业和任务，获取作业发起方和合作方信息；

25、通过作业发起方的作业控制器向所述合作方同步作业任务信息和调度指令；

26、通过合作方的任务执行器，基于预先训练的cpu预测模型以及内存预测模型预测算力需求，在合作方协同执行作业任务信息和调度指令，并上报合作方自身的状态和执行结果，完成电力隐私计算流程互联互通调度；

27、其中，所述算力需求包括执行任务所需要的cpu的数量以及执行任务所需要的内存的大小。

28、优选的，所述cpu预测模型的训练，包括：

29、根据所述电力隐私计算流程作业调度模版以及电力隐私计算作业任务配置信息，提炼电力隐私计算影响任务资源调度的第一特征数据；

30、以电力隐私计算历史数据中的第一特征数据为输入，以电力隐私计算历史数据中对应的cpu的数量为输出，训练基于多元线性回归算法的cpu预测模型；

31、其中，所述第一特征数据包括下述中的至少一种或多种：算法组件类型、数据样本集大小、密钥长度、迭代次数以及批次大小。

32、优选的，所述cpu预测模型的表达式如下：

33、

34、其中，y表示cpu的预测值，bi表示第i项第一特征数据，ai表示bi的系数，e表示cpu的截距偏置项，m表示第一特征数据项数。

35、优选的，所述内存预测模型的训练，包括：

36、根据所述电力隐私计算流程作业调度模版以及电力隐私计算作业任务配置信息，提炼电力隐私计算影响任务资源调度的第二特征数据；

37、以电力隐私计算历史数据中的第二特征数据为输入，以电力隐私计算历史数据中对应的内存的大小为输出，训练基于多元线性回归算法的内存预测模型；

38、其中，所述第二特征数据包括下述中的至少一种或多种：算法组件类型、数据样本集大小、样本权重、学习率以及采样率。

39、优选的，所述内存预测模型的表达式如下：

40、

41、其中，z表示内存的预测值，dj表示第j项第二特征数据，cj表示dj的系数，x表示内存的截距偏置项，n表示第二特征数据项数。

42、优选的，所述通过合作方的任务执行器，基于预先训练的cpu预测模型以及内存预测模型预测算力需求，在合作方协同执行作业任务信息和调度指令，包括：

43、基于所述电力隐私计算流程作业调度模版以及电力隐私计算作业任务配置信息，采用预先训练的cpu预测模型进行预测，得到执行任务所需要的cpu的数量，并采用预先训练的内存预测模型进行预测，得到执行任务所需要的内存的大小；

44、通过合作方的任务执行器，按照所需要的cpu的数量调用cpu，按照所需要的内存的大小调用内存，在合作方协同执行作业任务信息和调度指令。

45、基于同一发明构思，本技术还提供一种电力隐私计算流程互联互通调度系统，包括：模板生成模块、配置生成模块和调度模块；

46、所述模板生成模块，用于提取多方电力隐私计算平台信息，构建电力隐私计算流程作业调度模版；

47、所述配置生成模块，用于对所述电力隐私计算流程作业调度模版的配置信息进行描述，得到电力隐私计算作业任务配置信息；

48、所述调度模块，用于解析所述电力隐私计算流程作业调度模版以及电力隐私计算作业任务配置信息，生成电力隐私计算作业和任务，并根据所述电力隐私计算作业和任务，预测算力需求并进行电力隐私计算流程互联互通调度。

49、优选的，所述配置生成模块具体用于：

50、提取多方电力隐私计算平台信息，构建电力隐私计算算法组件；

51、根据所述电力隐私计算算法组件，构建电力隐私计算流程作业调度模版。

52、优选的，所述配置生成模块根据所述电力隐私计算算法组件，构建电力隐私计算流程作业调度模版，包括：

53、采用组件元素对所有所述电力隐私计算算法组件进行表示；

54、采用名称元素作为各电力隐私计算算法组件的唯一标识符；

55、采用输入元素表示各电力隐私计算算法组件的输入，并采用输出元素表示各电力隐私计算算法组件的输出；

56、采用数据元素作为输入元素和输出元素的下级元素，对所述电力隐私计算算法组件的类型和名称；

57、将所述组件元素、名称元素、输入元素、输出元素和数据元素设为json结构的对象，得到json结构的电力隐私计算流程作业调度模版。

58、优选的，所述配置生成模块具体用于：

59、对所述电力隐私计算流程作业调度模版的配置信息进行描述，得到电力隐私计算作业参与方信息；

60、根据所述电力隐私计算作业参与方信息，确定电力隐私计算作业任务配置信息。

61、优选的，所述配置生成模块根据所述电力隐私计算作业参与方信息，确定电力隐私计算作业任务配置信息，包括：

62、采用发起人元素对电力隐私计算作业参与方的角色和系统节点标识符进行表示；

63、采用角色元素对电力隐私计算作业参与方的角色以及个数进行表示，采用节点标识元素对所述角色对应的系统节点标识符进行表示；

64、采用作业参数元素对电力隐私计算的作业配置信息进行描述；

65、采用任务参数元素对电力隐私计算的任务配置信息进行描述；

66、将所述发起人元素、角色元素、节点标识元素、作业参数元素和任务参数元素设为json结构的对象，得到json结构的电力隐私计算作业任务配置信息。

67、优选的，所述调度模块根据所述电力隐私计算作业和任务，预测算力需求并进行电力隐私计算流程互联互通调度，包括：

68、根据所述电力隐私计算作业和任务，获取作业发起方和合作方信息；

69、通过作业发起方的作业控制器向所述合作方同步作业任务信息和调度指令；

70、通过合作方的任务执行器，基于预先训练的cpu预测模型以及内存预测模型预测算力需求，在合作方协同执行作业任务信息和调度指令，并上报合作方自身的状态和执行结果，完成电力隐私计算流程互联互通调度；

71、其中，所述算力需求包括执行任务所需要的cpu的数量以及执行任务所需要的内存的大小。

72、优选的，所述调度模块中所述cpu预测模型的训练，包括：

73、根据所述电力隐私计算流程作业调度模版以及电力隐私计算作业任务配置信息，提炼电力隐私计算影响任务资源调度的第一特征数据；

74、以电力隐私计算历史数据中的第一特征数据为输入，以电力隐私计算历史数据中对应的cpu的数量为输出，训练基于多元线性回归算法的cpu预测模型；

75、其中，所述第一特征数据包括下述中的至少一种或多种：算法组件类型、数据样本集大小、密钥长度、迭代次数以及批次大小。

76、优选的，所述调度模块中所述cpu预测模型的表达式如下：

77、

78、其中，y表示cpu的预测值，bi表示第i项第一特征数据，ai表示bi的系数，e表示cpu的截距偏置项，m表示第一特征数据项数。

79、优选的，所述调度模块中内存预测模型的训练，包括：

80、根据所述电力隐私计算流程作业调度模版以及电力隐私计算作业任务配置信息，提炼电力隐私计算影响任务资源调度的第二特征数据；

81、以电力隐私计算历史数据中的第二特征数据为输入，以电力隐私计算历史数据中对应的内存的大小为输出，训练基于多元线性回归算法的内存预测模型；

82、其中，所述第二特征数据包括下述中的至少一种或多种：算法组件类型、数据样本集大小、样本权重、学习率以及采样率。

83、优选的，所述调度模块中内存预测模型的表达式如下：

84、

85、其中，z表示内存的预测值，dj表示第j项第二特征数据，cj表示dj的系数，x表示内存的截距偏置项，n表示第二特征数据项数。

86、优选的，所述调度模块通过合作方的任务执行器，基于预先训练的cpu预测模型以及内存预测模型预测算力需求，在合作方协同执行作业任务信息和调度指令，包括：

87、基于所述电力隐私计算流程作业调度模版以及电力隐私计算作业任务配置信息，采用预先训练的cpu预测模型进行预测，得到执行任务所需要的cpu的数量，并采用预先训练的内存预测模型进行预测，得到执行任务所需要的内存的大小；

88、通过合作方的任务执行器，按照所需要的cpu的数量调用cpu，按照所需要的内存的大小调用内存，在合作方协同执行作业任务信息和调度指令。

89、再一方面，本发明还提供一种计算机设备，包括：至少一个处理器和存储器；所述存储器和处理器通过总线相连；

90、所述存储器，用于存储一个或多个程序；

91、当所述一个或多个程序被所述至少一个处理器执行时，实现如前述所述的一种电力隐私计算流程互联互通调度方法。

92、再一方面，本发明还提供一种计算机可读存储介质，其上存有执行程序，所述执行程序被执行时，实现如前述所述的一种电力隐私计算流程互联互通调度方法。

93、与现有技术相比，本发明的有益效果为：

94、本发明提供一种电力隐私计算流程互联互通调度方法、系统、设备和介质，包括：提取多方电力隐私计算平台信息，构建电力隐私计算流程作业调度模版；对所述电力隐私计算流程作业调度模版的配置信息进行描述，得到电力隐私计算作业任务配置信息；解析所述电力隐私计算流程作业调度模版以及电力隐私计算作业任务配置信息，生成电力隐私计算作业和任务，并根据所述电力隐私计算作业和任务，预测算力需求并进行电力隐私计算流程互联互通调度；本发明通过使用可编排的电力隐私计算流程作业调度模版，不仅结构性强和可读性强，而且易于实现；本发明通过电力隐私计算作业任务配置信息描述电力隐私计算作业相关的配置信息，配合电力隐私计算流程作业调度模版，实现了电力隐私计算平台调用不同厂商的算法组件的功能，其架构合理，兼容开放，抽象程度高，行业适应性好以及实现成本较低。