一种基于YARN的任务处理方法及装置与流程

本申请涉及计算机，特别是涉及一种基于yarn的任务处理方法及装置。

背景技术：

1、另一种资源协调者(yet another resource negotiator，yarn)是一个通用资源管理和调度平台，其可以为上层应用提供统一的资源管理和调度服务。

2、yarn通常与大数据处理平台相结合。作为一个具体的示例，可以将各种运算集群整合在一起，yarn可以接收来自大数据处理平台的数据处理任务，并从前述整合后的集群中为该任务分配资源，以便于利用所分配的资源来执行该数据处理任务。

3、目前，当利用yarn来调度应用了k8s(英文全称：kubernetes)的集群的资源时，如何利用该资源来执行来自大数据处理平台的任务，是目前尚待解决的问题，其中，应用了k8s的集群可以被简称为k8s集群。

技术实现思路

1、为了解决或者至少部分解决上述技术问题，本申请提供了一种基于yarn的任务处理方法及装置。

2、第一方面，本申请提供了一种基于yarn的任务处理方法，应用于部署了yarn技术的服务端，所述方法包括：

3、接收来自大数据处理平台的数据处理任务；

4、对k8s集群的资源进行调度，以利用部署在所述k8s集群中的任务计算容器来执行所述数据处理任务，其中，所述k8s集群中还部署有主应用容器，所述主应用容器部署在所述k8s集群中的第一pod中，所述任务计算容器部署在所述k8s集群中的第二pod中，所述主应用容器用于基于所述数据处理任务，向所述k8s集群中的任务计算容器发送任务分配消息，所述任务分配消息用于向所述任务计算容器分配计算任务，所述任务计算容器用于执行所述主应用容器向所述任务计算容器所分配的计算任务，所述任务分配消息中包括所述第一pod的地址和所述第二pod的地址。

5、可选的，所述方法还包括：

6、基于yarn节点管理组件为所述数据处理任务申请所述k8s集群中的资源；

7、利用所述yarn节点管理组件为所述数据处理任务申请的目标资源，在所述k8s集群中部署所述第一pod和所述第二pod。

8、可选的，所述服务端管理的资源仅包括应用了k8s的资源，所述应用了k8s的资源包括所述k8s集群，所述yarn节点管理组件为预先部署在所述k8s集群所包括的第三pod中，所述第三pod不同于所述第一pod和所述第二pod。

9、可选的，所述服务端管理的资源还包括应用了弹性计算服务的集群，所述yarn节点管理组件部署在所述应用了弹性计算服务的集群中。

10、可选的，

11、所述任务计算容器还用于向所述主应用容器发送状态上报消息，所述状态上报消息中包括所述第一pod的地址、所述第二pod的地址以及所述计算任务的执行信息。

12、可选的，所述任务计算容器包括：

13、映射任务计算容器和归约任务计算容器，所述映射任务计算容器和所述归约任务计算容器部署在两个不同的第二pod中。

14、第二方面，本申请提供了一种基于yarn的任务处理装置，应用于部署了yarn技术的服务端，所述装置包括：

15、接收单元，用于接收来自大数据处理平台的数据处理任务；

16、调度单元，对k8s集群的资源进行调度，以利用部署在所述k8s集群中的任务计算容器来执行所述数据处理任务，其中，所述k8s集群中还部署有主应用容器，所述主应用容器部署在所述k8s集群中的第一pod中，所述任务计算容器部署在所述k8s集群中的第二pod中，所述主应用容器用于基于所述数据处理任务，向所述k8s集群中的任务计算容器发送任务分配消息，所述任务分配消息用于向所述任务计算容器分配计算任务，所述任务计算容器用于执行所述主应用容器向所述任务计算容器所分配的计算任务，所述任务分配消息中包括所述第一pod的地址和所述第二pod的地址。

17、可选的，所述装置还包括：

18、申请单元，用于基于yarn节点管理组件为所述数据处理任务申请所述k8s集群中的资源；

19、部署单元，用于利用所述yarn节点管理组件为所述数据处理任务申请的目标资源，在所述k8s集群中部署所述第一pod和所述第二pod。

20、可选的，所述服务端管理的资源仅包括应用了k8s的资源，所述应用了k8s的资源包括所述k8s集群，所述yarn节点管理组件为预先部署在所述k8s集群所包括的第三pod中，所述第三pod不同于所述第一pod和所述第二pod。

21、可选的，所述服务端管理的资源还包括应用了弹性计算服务的集群，所述yarn节点管理组件部署在所述应用了弹性计算服务的集群中。

22、可选的，

23、所述任务计算容器还用于向所述主应用容器发送状态上报消息，所述状态上报消息中包括所述第一pod的地址、所述第二pod的地址以及所述计算任务的执行信息。

24、可选的，所述任务计算容器包括：

25、映射任务计算容器和归约任务计算容器，所述映射任务计算容器和所述归约任务计算容器部署在两个不同的第二pod中。

26、第三方面，本申请实施例提供了一种电子设备，所述设备包括处理器和存储器；

27、所述处理器用于执行所述存储器中存储的指令，以使得所述设备执行如以上第一方面中任一项所述的方法。

28、第四方面，本申请实施例提供了一种计算机可读存储介质，包括指令，所述指令指示设备执行如以上第一方面中任一项所述的方法。

29、第五方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行以上第一方面任一项所述的方法。

30、与现有技术相比，本申请实施例具有以下优点：

31、本申请提供了一种基于yarn的任务处理方法，该方法可以应用于部署了yarn技术的服务端。该方法包括：接收来自大数据处理平台的数据处理任务，进一步地，对k8s集群的资源进行调度，以利用部署在所述k8s集群中的任务计算容器来执行所述数据处理任务。在本申请中，所述k8s集群中还部署有主应用容器，所述主应用容器部署在所述k8s集群中的第一pod中，所述任务计算容器部署在所述k8s集群中的第二pod中。主应用容器和任务计算容器可以利用第一pod的地址和第二pod的地址进行通信，具体的，所述主应用容器可以基于所述数据处理任务，向所述k8s集群中的任务计算容器发送任务分配消息，所述任务分配消息中包括所述第一pod的地址和所述第二pod的地址，所述任务分配消息用于向所述任务计算容器分配计算任务，相应的，所述任务计算容器用于执行所述主应用容器向所述任务计算容器所分配的计算任务，从而实现执行前述数据处理任务。由此可见，利用本申请提供的方案，可以在利用yarn调度k8s集群的资源时，利用该资源来执行来自大数据处理平台的数据处理任务。

1.一种基于yarn的任务处理方法，其特征在于，应用于部署了yarn技术的服务端，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述服务端管理的资源仅包括应用了k8s的资源，所述应用了k8s的资源包括所述k8s集群，所述yarn节点管理组件为预先部署在所述k8s集群所包括的第三pod中，所述第三pod不同于所述第一pod和所述第二pod。

4.根据权利要求2所述的方法，其特征资源，所述服务端管理的资源还包括应用了弹性计算服务的集群，所述yarn节点管理组件部署在所述应用了弹性计算服务的集群中。

5.根据权利要求1所述的方法，其特征在于，

6.根据权利要求1所述的方法，其特征在于，所述任务计算容器包括：

7.一种基于yarn的任务处理装置，其特征在于，应用于部署了yarn技术的服务端，所述装置包括：

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

9.一种电子设备，其特征在于，所述设备包括处理器和存储器；

10.一种计算机可读存储介质，其特征在于，包括指令，所述指令指示设备执行以上权利要求1-6任意一项所述的方法。