无人环卫车协同作业的任务智能划分方法与流程

本发明属于无人环卫车的任务划分，具体涉及一种无人环卫车协同作业的任务智能划分方法。

背景技术：

1、随着自动驾驶技术的蓬勃发展，市场上涌现出大量无人作业车辆，如无人扫地车和无人洒水车。这些车辆在提高效率、降低成本、改善工作环境以及促进环境保护等方面发挥着重要作用，为现代城市管理和交通领域带来了革命性的变化。城市环卫车在执行清洁、垃圾收集等任务时，如何有效地规划路线和分配任务，是一个重要而复杂的问题。传统的方法通常依赖于人工经验或者简单的规则，如最近邻规则、k-means算法等，这些方法往往无法得到全局最优解，而且难以应对复杂和动态变化的环境。

技术实现思路

1、为了解决上述技术问题，本发明提出了一种无人环卫车协同作业的任务智能划分方法。

2、为了达到上述目的，本发明的技术方案如下：

3、第一方面，本发明公开一种无人环卫车协同作业的任务智能划分方法，包括：

4、步骤s1：利用聚类算法对所有的任务路段进行聚类，聚类数量为预设的子任务数量，得到初始的聚类中心；

5、步骤s2：初始化策略函数表和值函数表；

6、策略函数表内存储每个任务路段选择每个子任务的概率；

7、值函数表内存储每个任务路段的值函数，值函数为选择对应子任务时，所能够获得的预期回报；

8、步骤s3：根据当前的策略函数表为每个任务路段选择一个对应子任务；

9、步骤s4：根据选择结果，利用奖励函数计算奖励值，并评估该选择结果的预期回报；

10、奖励函数涉及任务路段到对应聚类中心的距离、子任务的最优路径成本、任务路段到补给站的最短距离以及任务路段到仓库的距离中的一种或多种因素；

11、步骤s5：基于actor-critic的更新规则，根据奖励值和下一个任务路段的值函数，更新当前任务段的值函数和策略函数；

12、步骤s6：重复执行步骤s3-步骤s5，对策略函数表和值函数表进行更新，直至为每个任务路段分配最优的子任务。

13、在上述技术方案的基础上，还可做如下改进：

14、作为优选的方案，在奖励函数中采用贪心算法计算子任务的最优路径成本，包括以下步骤：

15、步骤a：获取子任务所对应的所有任务路段以及该任务路段之间的连接关系，并将每个任务路段视为一个节点；

16、步骤b：初始化布尔型列表，用于标记节点是否已经访问过；

17、初始化路径长度为0，将起始节点设置为0；

18、步骤c：从当前节点开始，寻找下一个未访问过的节点，使得到达该节点的距离最短，并将当前节点标记为已访问过；

19、遍历所有未访问过的节点，计算当前节点到每个未访问过节点的距离，并更新最小距离和下一个节点，直至迭代寻找到最短路径；

20、步骤d：更新路径长度，将最小距离添加到路径长度中。

21、作为优选的方案，采用欧氏距离计算任务路段到对应聚类中心的距离。

22、作为优选的方案，奖励函数r的计算公式如下：

23、

24、其中，xi为第i任务路段的坐标或特征向量；

25、cj为第j个聚类中心的坐标；

26、p为贪心算法计算的子任务的最优路径长度；

27、n为当前子任务的任务路段数量；

28、为第i个任务路段到补给站的最短距离；

29、为第i个任务路段到仓库的距离。

30、作为优选的方案，在步骤s5中，通过以下公式更新值函数；

31、v(s)←v(s)+α*(r+γ*v(s′)-v(s))

32、其中，v(s)是当前任务路段的值函数；

33、v(s′)是下一个任务路段的值函数；

34、r是奖励值；

35、α是学习率；

36、γ是折扣因子；

37、通过以下公式更新策略函数表；

38、π(a|s)←π(a|s)+α*(r+γ*v(s′)-v(s))

39、其中，π(a|s)是在第s个任务路段下选择第a个子任务的概率。

40、作为优选的方案，使用softmax函数处理策略函数表中的概率。

41、第二方面，本发明还公开一种无人环卫车协同作业的任务智能划分设备，包括：

42、聚类模块，用于利用聚类算法对所有的任务路段进行聚类，聚类数量为预设的子任务数量，得到初始的聚类中心；

43、初始化模块，用于初始化策略函数表和值函数表；

44、策略函数表内存储每个任务路段选择每个子任务的概率；

45、值函数表内存储每个任务路段的值函数，值函数为选择对应子任务时，所能够获得的预期回报；

46、选择模块，用于根据当前的策略函数表为每个任务路段选择一个对应子任务；

47、奖励值计算模块，用于根据选择结果，利用奖励函数计算奖励值，并评估该选择结果的预期回报；

48、奖励函数涉及任务路段到对应聚类中心的距离、子任务的最优路径成本、任务路段到补给站的最短距离以及任务路段到仓库的距离中的一种或多种因素；

49、更新模块，用于基于actor-critic的更新规则，根据奖励值和下一个任务路段的值函数，更新当前任务段的值函数和策略函数；

50、重复模块，用于重复执行选择模块、奖励值计算模块、更新模块内的方法，对策略函数表和值函数表进行更新，直至为每个任务路段分配最优的子任务。

51、作为优选的方案，通过最优路径成本计算单元采用贪心算法计算奖励函数中子任务的最优路径成本，包括：

52、获取单元，用于获取子任务所对应的所有任务路段以及该任务路段之间的连接关系，并将每个任务路段视为一个节点；

53、贪心算法初始化单元，用于初始化布尔型列表，用于标记节点是否已经访问过；

54、初始化路径长度为0，将起始节点设置为0；

55、迭代寻找单元，用于从当前节点开始，寻找下一个未访问过的节点，使得到达该节点的距离最短，并将当前节点标记为已访问过；

56、遍历所有未访问过的节点，计算当前节点到每个未访问过节点的距离，并更新最小距离和下一个节点，直至迭代寻找到最短路径；

57、路径更新单元，用于更新路径长度，将最小距离添加到路径长度中。

58、作为优选的方案，采用欧氏距离计算任务路段到对应聚类中心的距离。

59、作为优选的方案，奖励函数r的计算公式如下：

60、

61、其中，xi为第i任务路段的坐标或特征向量；

62、cj为第j个聚类中心的坐标；

63、p为贪心算法计算的子任务的最优路径长度；

64、n为当前子任务的任务路段数量；

65、为第i个任务路段到补给站的最短距离；

66、为第i个任务路段到仓库的距离。

67、作为优选的方案，在步骤s5中，通过以下公式更新值函数；

68、v(s)←v(s)+α*(r+γ*v(s′)-v(s))

69、其中，v(s)是当前任务路段的值函数；

70、v(s′)是下一个任务路段的值函数；

71、r是奖励值；

72、α是学习率；

73、γ是折扣因子；

74、通过以下公式更新策略函数表；

75、π(a|s)←π(a|s)+α*(r+γ*v(s′)-v(s))

76、其中，π(a|s)是在第s个任务路段下选择第a个子任务的概率。

77、作为优选的方案，使用softmax函数处理策略函数表中的概率。

78、第三方面，本发明还公开一种存储介质，存储介质存储有一个或多个计算机可读的程序，一个或多个程序包括指令，指令适于由存储器加载并执行上述任一种无人环卫车协同作业的任务智能划分方法。

79、本发明公开一种无人环卫车协同作业的任务智能划分方法，其具有以下有益效果：

80、本发明将任务路段分割成多个子任务，并使用actor-critic强化学习算法优化每个子任务的划分方式，从而实现对整个任务路段划分的优化。同时，本发明综合考虑了任务路段到对应聚类中心的距离、子任务的最优路径成本、任务路段到补给站的最短距离以及任务路段到仓库的距离等因素。

81、本发明通过使用actor-critic强化学习模型，结合贪心算法、聚类算法等，对城市环卫车的任务进行有效划分，能够解决城市环卫车在执行清洁、垃圾收集等任务时的路线规划和任务分配问题，提高工作效率，减少能源消耗，并优化城市环卫服务。