执行处理器配合执行的方法、装置、设备、介质及产品与流程

本发明实施例涉及数据处理，尤其涉及一种执行处理器配合执行的方法、装置、设备、介质及产品。

背景技术：

1、由于人工智能推理场景越来越多，对于处理器推理速度的要求也越来越高。

2、目前，在基于服务器执行推理任务时，由于开发人员对于底层算子不熟悉，也不清楚推理任务对应的计算图的张量拷贝信息，通常是基于服务器中单一的执行处理器完成整个推理任务对应的计算图的处理。例如，基于中央处理器或图形处理器完成整个计算图的处理。但是这样的配置方式在服务器中部署有多个可以用于执行推理任务的执行处理器时，存在执行处理器的资源浪费的问题。

3、为了解决上述问题，需要对推理任务处理过程中执行处理器配置执行的方法进行改进。

技术实现思路

1、本发明实施例提供一种执行处理器配合执行的方法、装置、设备、介质及产品，用以解决现有技术中在服务器中部署有多个可以用于执行推理任务的执行处理器的情况下，仅基于单一的执行处理器对整体的推理任务进行推理处理时，存在对服务器中的执行处理器的资源浪费的问题。

2、第一方面，本发明实施例提供了一种执行处理器配合执行的方法，该方法包括：

3、加载与推理任务相对应的静态计算图的网络结构文件；其中，所述推理任务为神经网络中每个神经网络层如何对输入数据进行处理得到符合预设条件的输出结果的任务，所述静态计算图中包括多个算子，所述算子与神经网络层相关联，用于限定对输入数据的处理信息；

4、根据所述网络结构文件和算子切割约束条件，将所述静态计算图划分为至少两个计算子图，并确定与所述计算子图相对应的子图文件；其中，所述子图文件中包括计算子图的计算架构标识和输入输出张量；

5、根据每个计算子图的计算架构标识和输入输出张量，为所述计算子图配置突变因子，得到与所述推理任务相对应的异构结构；其中，所述突变因子用于调整与所述计算子图相对应的执行处理器，所述执行处理器包括中央处理器或图形处理器；

6、对于至少一个执行周期内的至少一个训练样本，基于所述至少一个训练样本、所述异构结构以及所述异构结构中计算子图所对应的突变因子，确定每个计算子图的执行信息；其中，所述执行信息中包括推理时长以及推理时延，所述推理时延是将当前执行处理器所得到的输出张量复制到另一执行处理器时所需要的时长信息；

7、基于每个执行周期的执行信息，确定所述异构结构中每个计算子图的目标执行处理器，以基于与各计算子图所对应的目标执行处理器对接收到的目标任务进行处理。

8、第二方面，本发明实施例还提供了一种执行处理器配合执行的装置，该装置包括：

9、文件加载模块，用于加载与推理任务相对应的静态计算图的网络结构文件；其中，所述推理任务为神经网络中每个神经网络层如何对输入数据进行处理得到符合预设条件的输出结果的任务，所述静态计算图中包括多个算子，所述算子与神经网络层相关联，用于限定对输入数据的处理信息；

10、子图划分模块，用于根据所述网络结构文件和算子切割约束条件，将所述静态计算图划分为至少两个计算子图，并确定与所述计算子图相对应的子图文件；其中，所述子图文件中包括计算子图的计算架构标识和输入输出张量；

11、异构结构确定模块，用于根据每个计算子图的计算架构标识和输入输出张量，为所述计算子图配置突变因子，得到与所述推理任务相对应的异构结构；其中，所述突变因子用于调整与所述计算子图相对应的执行处理器，所述执行处理器包括中央处理器或图形处理器；

12、执行信息确定模块，用于对于至少一个执行周期内的至少一个训练样本，基于所述至少一个训练样本、所述异构结构以及所述异构结构中计算子图所对应的突变因子，确定每个计算子图的执行信息；其中，所述执行信息中包括推理时长以及推理时延，所述推理时延是将当前执行处理器所得到的输出张量复制到另一执行处理器时所需要的时长信息；

13、目标任务处理模块，用于基于每个执行周期的执行信息，确定所述异构结构中每个计算子图的目标执行处理器，以基于与各计算子图所对应的目标执行处理器对接收到的目标任务进行处理。

14、第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的执行处理器配合执行的方法。

15、第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的执行处理器配合执行的方法。

16、第五方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本发明实施例中任一所述的执行处理器配合执行的方法。

17、本发明实施例中，通过加载与推理任务相对应的静态计算图的网络结构文件；根据网络结构文件和算子切割约束条件，将静态计算图划分为至少两个计算子图，并确定与计算子图相对应的子图文件；根据每个计算子图的计算架构标识和输入输出张量，为计算子图配置突变因子，得到与推理任务相对应的异构结构；对于至少一个执行周期内的至少一个训练样本，基于至少一个训练样本、异构结构以及异构结构中计算子图所对应的突变因子，确定每个计算子图的执行信息；基于每个执行周期的执行信息，确定异构结构中每个计算子图的目标执行处理器，以基于与各计算子图所对应的目标执行处理器对接收到的目标任务进行处理。在本技术方案中，通过加载与推理任务对应的静态计算图，并对静态计算图进行子图切割可以得到至少两个计算子图，在此基础上，可以通过将各计算子图配置在各执行处理器上进行模拟运行。其中，在对各计算子图的执行和处理器的优化配置过程中，可以通过设置与各计算子图对应的计算架构标识和突变因子，控制计算子图在不同执行处理器上的突变，从而得到计算子图在各执行处理器上的执行信息。在多次对各计算子图对应的执行处理器的配置进行迭代优化处理后，根据各计算子图在每次迭代优化过程中对应的执行信息得到与各计算子图对应的目标执行处理器，即，将处理计算子图的耗时最短的执行处理器作为目标执行处理器，进而根据所有的计算子图对应的目标执行处理器确定与推理任务对应的目标异构结构，实现了在执行推理任务过程中对服务器中的至少两个执行处理器进行最优化资源配置，以在对与推理任务类型相同的目标任务处理时，直接基于确定好的目标异构结构对目标任务中的计算子图进行处理。解决了现有技术中在服务器中部署有多个可以用于执行推理任务的执行处理器的情况下，仅基于单一的执行处理器对整体的推理任务进行推理处理时，存在对服务器中的执行处理器的资源浪费的问题，通过对推理任务对应的静态计算图进行子图切割，并将得到的至少一个计算子图分配至合理的执行处理器上进行处理，以基于服务器中的至少两个执行处理器共同对推理任务进行处理的方式，实现了在执行推理任务的过程中，合理化配置服务器中的多个执行处理器，充分发挥各执行处理器的资源优势，同时提高对推理任务的处理效率的效果。

1.一种执行处理器配合执行的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述加载与推理任务相对应的静态计算图的网络结构文件，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述网络结构文件和算子切割约束条件，将所述静态计算图划分为至少两个计算子图，包括：

4.根据权利要求1所述的方法，其特征在于，所述确定与所述计算子图相对应的子图文件，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据每个计算子图的计算架构标识和输入输出张量，为所述计算子图配置突变因子，得到与所述推理任务相对应的异构结构，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个训练样本、所述异构结构以及所述异构结构中计算子图所对应的突变因子，确定每个计算子图的执行信息，包括：

7.根据权利要求6所述的方法，其特征在于，所述基于所述异构结构中的至少一个计算子图对所述当前训练样本进行处理，得到每个计算子图的第一执行信息，包括：

8.根据权利要求6所述的方法，其特征在于，所述基于每个训练样本所对应的所有第一执行信息，确定所述执行周期所对应的执行信息，包括：

9.根据权利要求8所述的方法，其特征在于，执行信息包括总执行时长，所述基于相邻两个执行周期的执行信息，确定相邻两个执行周期中后一执行周期的下一执行周期的异构结构，包括：

10.根据权利要求9所述的方法，其特征在于，所述基于每个执行周期的执行信息，确定所述异构结构中每个计算子图的目标执行处理器，包括：

11.根据权利要求1所述的方法，其特征在于，在得到每个计算子图所对应的目标执行处理器之后，所述方法还包括：

12.一种执行处理器配合执行的装置，其特征在于，包括：

13.一种执行处理器配合执行的电子设备，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-11中任一项所述的执行处理器配合执行的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的执行处理器配合执行的方法。

15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-11中任一项所述的执行处理器配合执行的方法。