对象存储服务批处理任务的处理方法、装置、电子设备、介质及产品与流程

本公开实施例涉及数据处理，尤其涉及一种对象存储服务批处理任务的处理方法、装置、电子设备、介质及产品。

背景技术：

1、对象存储的桶清单功能，可以根据存储桶对应的桶清单规则对存储桶内的数据进行处理，以生成清单文件存储到指定桶中，帮用户实现列举海量数据。

2、但是，对存储桶的对象数据进行批处理时，在一批任务完成后才会开始下一批任务，不同存储桶的桶清单规则对应的批处理任务中要处理的数据量不同。为数据量较大的存储桶提供的桶清单服务会占据大量的任务执行资源，对于数据量相对较小的存储桶来说，很难保证对其提供的桶清单服务的时效性及公平性。

技术实现思路

1、本公开提供了一种对象存储服务批处理任务的处理方法、装置、电子设备、介质及产品，可以通过对单个对象存储桶对应的桶清单批处理任务进行拆分和限定，对不同数据量级的对象存储桶实现了公平的任务分发策略，确保了每个桶清单批处理任务都能拥有执行资源，实现对象存储桶间的效率与公平。

2、第一方面，本公开实施例提供了一种对象存储服务批处理任务的处理方法，该方法包括：

3、通过对象存储的桶清单服务获取每个桶清单规则对应的桶清单批处理任务，其中，每个桶清单规则对应一个桶清单批处理任务，每个桶清单批处理任务的处理对象包含多个对象数据；

4、针对每个桶清单批处理任务，分别按照预设数据量进行任务拆分，得到每个桶清单批处理任务对应的具有执行优先级顺序的多个批处理子任务；

5、按照每个桶清单批处理任务对应的存储桶的桶顺序并按照执行优先级顺序，依次选取每个桶清单批处理任务对应的多个批处理子任务，并触发被选取的批处理子任务的分配和执行。

6、第二方面，本公开实施例还提供了一种对象存储服务批处理任务的处理装置，该装置包括：

7、任务获取模块，用于通过对象存储的桶清单服务获取每个桶清单规则对应的桶清单批处理任务，其中，每个桶清单规则对应一个桶清单批处理任务，每个桶清单批处理任务的处理对象包含多个对象数据；

8、任务拆分模块，用于针对每个桶清单批处理任务，分别按照预设数据量进行任务拆分，得到每个桶清单批处理任务对应的具有执行优先级顺序的多个批处理子任务；

9、任务分配与处理模块，用于按照每个桶清单批处理任务对应的存储桶的桶顺序并按照执行优先级顺序，依次选取每个桶清单批处理任务对应的多个批处理子任务，并触发被选取的批处理子任务的分配和执行。

10、第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：

11、一个或多个处理器；

12、存储装置，用于存储一个或多个程序，

13、当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本公开实施例任一所述的对象存储服务批处理任务的处理方法。

14、第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的对象存储服务批处理任务的处理方法。

15、第五方面，本公开实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本发明实施例中任一的对象存储服务批处理任务的处理方法。

16、本公开实施例，通过对象存储的桶清单服务获取每个桶清单规则对应的桶清单批处理任务，其中，每个桶清单规则对应一个桶清单批处理任务，每个桶清单批处理任务的处理对象包含多个对象数据；针对每个桶清单批处理任务，分别按照预设数据量进行任务拆分，得到每个桶清单批处理任务对应的具有执行优先级顺序的多个批处理子任务；按照每个桶清单批处理任务对应的存储桶的桶顺序并按照执行优先级顺序，依次选取每个桶清单批处理任务对应的多个批处理子任务，并触发被选取的批处理子任务的分配和执行。本公开实施例的技术方案解决了桶清单服务中不能兼顾各对象存储桶的桶清单规则对应的桶清单批处理任务之间的公平与效率的问题，可以通过对单个桶清单规则对应的桶清单批处理任务进行拆分和限定，对不同数量级的存储桶实现了公平的任务分发与处理策略，确保了每个桶清单批处理任务都能拥有执行资源，实现存桶清单规则对应的桶清单批处理任务之间的效率与公平。

1.一种对象存储服务批处理任务的处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述按照每个所述桶清单批处理任务对应的存储桶的桶顺序并按照所述执行优先级顺序，依次选取每个所述桶清单批处理任务对应的多个批处理子任务，并触发被选取的批处理子任务的分配和执行，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据预设最大任务分发数量，将被选取的批处理子任务的分配到任务执行工作线程并执行，包括：

4.根据权利要求2所述的方法，其特征在于，所述按照每个所述桶清单批处理任务对应的存储桶的桶顺序并按照所述执行优先级顺序，依次选取每个所述桶清单批处理任务对应的多个批处理子任务，并触发被选取的批处理子任务的分配和执行，还包括：

5.根据权利要求1所述的方法，其特征在于，在获取每个桶清单规则对应的桶清单批处理任务之后，所述方法还包括：

6.根据权利要求1-5中任一所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1-5中任一所述的方法，其特征在于，所述方法还包括：

8.一种对象存储服务批处理任务的处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的对象存储服务批处理任务的处理方法。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-7中任一项所述的对象存储服务批处理任务的处理方法。