无人机集群多目标的分布式决策方法和装置

本技术涉及无人机自主决策，特别是涉及一种无人机集群多目标的分布式决策方法和装置。

背景技术：

1、随着无人机技术的发展，反制无人机技术的发展也被提上日程，本研究以无人机多目标任务决策为任务场景，当有多个无人机同时执行任务时，无人机集群任务完成可以明显提高任务执行的效率，然而在多任务目标场景下，无人机集群完成任务的效率会明显降低，目前，一种做法是无人机集群通过决策分为多个无人机子集群完成，然而，目前常规技术是控制中心与无人机集群进行通信交互，通过下发无人机集群的决策指令，进行任务执行。这种方式失去通信交互后则无法实现，目前也有基于智能体的无人机集群自主决策，但是对于单个无人机，其决策较为单一，无法同时应对多个任务目标执行的复杂情况。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够根据不同任务难度，自主切换无人机状态并灵活输出决策的无人机集群多目标的分布式决策方法和装置。

2、一种无人机集群多目标的分布式决策方法，所述方法包括：

3、构建无人机集群中无人机的分布式决策有限状态机以及博弈决策神经网络；所述分布式决策有限状态机中所述无人机的状态包括：决策保持者、正常决策者、纠结者以及迷失者；

4、在当前决策轮次，根据无人机存储的上一决策轮次存储的决策数据以及当前获取的实时数据，对所述博弈决策神经网络进行实时参数调整；

5、设置所述分布式决策有限状态机中状态跳转规则；所述状态跳转规则包括：若无人机的分布式决策有限状态机的状态为正常决策者，判断无人机与任意任务目标的距离均大于无人机决策距离阈值，则判断无人机的状态跳转为决策保持者；若判断无人机短时决策跳变大于无人机短时决策记忆容量乘以无人机短时决策容忍跳变率，则判断无人机的状态跳转为纠结者；跳转为决策保持者的无人机若离任意任务目标的距离小于决策距离阈值，则决策保持者的无人机的状态跳转为正常决策者，处于决策保持者的无人机若当前迷失者状态位为1，则决策保持者的无人机的状态跳转为迷失者，跳转为纠结者的无人机若离任意任务目标的距离大于决策距离阈值，则纠结者的无人机的状态跳转为决策保持者，跳转为纠结者的无人机若离所有任务目标的距离均变大或者变小，则纠结者的无人机的状态跳转为迷失者，跳转为迷失者的无人机若所统计步数达到阈值，则迷失者的无人机的状态跳转为正常决策者；

6、处于所述正常决策者和所述纠结者状态的无人机通过实时调整参数后的博弈决策神经网络进行决策输出，处于所述迷失者的无人机通过任务目标数量和预设距离内无人机数量的比较关系，确定迷失者的最优任务目标作为决策输出，处于所述决策保持者的无人机保持上一决策轮次的决策。

7、在其中一个实施例中，还包括：当处于正常决策者的无人机同时满足纠结者和决策保持者的跳转条件，若正常决策者成为纠结者之后满足迷失者条件则优先跳转纠结者；若正常决策者成为纠结者之后不满足迷失者条件则优先跳转决策保持者。

8、在其中一个实施例中，还包括：无人机的状态在正常决策者和纠结者状态下，若纠结者在同时满足迷失者和决策保持者的跳转条件，则优先进入迷失者状态，若不满足迷失者状态条件则成为决策保持者，正常决策者满足决策保持者的进入条件则直接成为决策保持者。

9、在其中一个实施例中，还包括：设置决策保持标志位、纠结者标志位以及迷失者标志位；当无人机的状态处于决策保持者时，所述决策保持标志位置1，否则为0；当无人机的状态处于纠结者时，所述纠结者标志位置1，否则为0；当无人机的状态处于迷失者时，所述迷失者标志位置1，否则为0。

10、在其中一个实施例中，还包括：若处于所述迷失者的无人机预设距离内无人机数量等于任务目标数量，则处于所述迷失者的无人机选择距离最近的任务目标为最优任务目标作为决策输出，否则处于所述迷失者的无人机选择差额最小的任务目标为最优任务目标作为决策输出。

11、在其中一个实施例中，还包括：给每个决策变量分配决策变量权重，以及根据所述决策变量权重构建博弈决策神经网络为：

12、;

13、其中，为博弈决策神经网络，表示网络系数，决策变量权重根据网络系数归一化得到，表示网络参数；

14、在当前决策轮次，将无人机存储的上一决策轮次存储的决策数据以及当前获取的实时数据输入所述博弈决策神经网络，以此对所述博弈决策神经网络进行实时参数调整。

15、在其中一个实施例中，还包括：根据所述决策变量的任意两个决策变量计算得到一组决策变量权重，然后根据计算得到的一组决策变量权重和另一组决策变量权重进行拓展，得到第三个决策变量权重，以此计算得到所有决策变量权重。

16、一种无人机集群多目标的分布式决策装置，所述装置包括：

17、框架构建模块，用于构建无人机集群中无人机的分布式决策有限状态机以及博弈决策神经网络；所述分布式决策有限状态机中所述无人机的状态包括：决策保持者、正常决策者、纠结者以及迷失者；

18、参数调整模块，用于在当前决策轮次，根据无人机存储的上一决策轮次存储的决策数据以及当前获取的实时数据，对所述博弈决策神经网络进行实时参数调整；

19、状态跳转逻辑设置模块，用于设置所述分布式决策有限状态机中状态跳转规则；所述状态跳转规则包括：若无人机的分布式决策有限状态机的状态为正常决策者，判断无人机与任意任务目标的距离均大于无人机决策距离阈值，则判断无人机的状态跳转为决策保持者；若判断无人机短时决策跳变大于无人机短时决策记忆容量乘以无人机短时决策容忍跳变率，则判断无人机的状态跳转为纠结者；跳转为决策保持者的无人机若离任意任务目标的距离小于决策距离阈值，则决策保持者的无人机的状态跳转为正常决策者，处于决策保持者的无人机若当前迷失者状态位为1，则决策保持者的无人机的状态跳转为迷失者，跳转为纠结者的无人机若离任意任务目标的距离大于决策距离阈值，则纠结者的无人机的状态跳转为决策保持者，跳转为纠结者的无人机若离所有任务目标的距离均变大或者变小，则纠结者的无人机的状态跳转为迷失者，跳转为迷失者的无人机若所统计步数达到阈值，则迷失者的无人机的状态跳转为正常决策者；

20、决策输出模块，用于处于所述正常决策者和所述纠结者状态的无人机通过实时调整参数后的博弈决策神经网络进行决策输出，处于所述迷失者的无人机通过任务目标数量和预设距离内无人机数量的比较关系，确定迷失者的最优任务目标作为决策输出，处于所述决策保持者的无人机保持上一决策轮次的决策。

21、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

22、构建无人机集群中无人机的分布式决策有限状态机以及博弈决策神经网络；所述分布式决策有限状态机中所述无人机的状态包括：决策保持者、正常决策者、纠结者以及迷失者；

23、在当前决策轮次，根据无人机存储的上一决策轮次存储的决策数据以及当前获取的实时数据，对所述博弈决策神经网络进行实时参数调整；

24、设置所述分布式决策有限状态机中状态跳转规则；所述状态跳转规则包括：若无人机的分布式决策有限状态机的状态为正常决策者，判断无人机与任意任务目标的距离均大于无人机决策距离阈值，则判断无人机的状态跳转为决策保持者；若判断无人机短时决策跳变大于无人机短时决策记忆容量乘以无人机短时决策容忍跳变率，则判断无人机的状态跳转为纠结者；跳转为决策保持者的无人机若离任意任务目标的距离小于决策距离阈值，则决策保持者的无人机的状态跳转为正常决策者，处于决策保持者的无人机若当前迷失者状态位为1，则决策保持者的无人机的状态跳转为迷失者，跳转为纠结者的无人机若离任意任务目标的距离大于决策距离阈值，则纠结者的无人机的状态跳转为决策保持者，跳转为纠结者的无人机若离所有任务目标的距离均变大或者变小，则纠结者的无人机的状态跳转为迷失者，跳转为迷失者的无人机若所统计步数达到阈值，则迷失者的无人机的状态跳转为正常决策者；

25、处于所述正常决策者和所述纠结者状态的无人机通过实时调整参数后的博弈决策神经网络进行决策输出，处于所述迷失者的无人机通过任务目标数量和预设距离内无人机数量的比较关系，确定迷失者的最优任务目标作为决策输出，处于所述决策保持者的无人机保持上一决策轮次的决策。

26、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

27、构建无人机集群中无人机的分布式决策有限状态机以及博弈决策神经网络；所述分布式决策有限状态机中所述无人机的状态包括：决策保持者、正常决策者、纠结者以及迷失者；

28、在当前决策轮次，根据无人机存储的上一决策轮次存储的决策数据以及当前获取的实时数据，对所述博弈决策神经网络进行实时参数调整；

29、设置所述分布式决策有限状态机中状态跳转规则；所述状态跳转规则包括：若无人机的分布式决策有限状态机的状态为正常决策者，判断无人机与任意任务目标的距离均大于无人机决策距离阈值，则判断无人机的状态跳转为决策保持者；若判断无人机短时决策跳变大于无人机短时决策记忆容量乘以无人机短时决策容忍跳变率，则判断无人机的状态跳转为纠结者；跳转为决策保持者的无人机若离任意任务目标的距离小于决策距离阈值，则决策保持者的无人机的状态跳转为正常决策者，处于决策保持者的无人机若当前迷失者状态位为1，则决策保持者的无人机的状态跳转为迷失者，跳转为纠结者的无人机若离任意任务目标的距离大于决策距离阈值，则纠结者的无人机的状态跳转为决策保持者，跳转为纠结者的无人机若离所有任务目标的距离均变大或者变小，则纠结者的无人机的状态跳转为迷失者，跳转为迷失者的无人机若所统计步数达到阈值，则迷失者的无人机的状态跳转为正常决策者；

30、处于所述正常决策者和所述纠结者状态的无人机通过实时调整参数后的博弈决策神经网络进行决策输出，处于所述迷失者的无人机通过任务目标数量和预设距离内无人机数量的比较关系，确定迷失者的最优任务目标作为决策输出，处于所述决策保持者的无人机保持上一决策轮次的决策。

31、上述无人机集群多目标的分布式决策方法、装置、计算机设备和存储介质，根据无人机可能会面临的不同目标决策场景设计了分布式有限状态机，设定了有限状态机的状态和跳转条件。另外，构建了分布式博弈决策神经网络，实现无人机局部信息下考虑不同决策变量时候的最优目标选择。该网络实现了通过无人机的环境信息历史数据以及实时观测量，实现局部信息下各个决策变量权重系数的自适应调整。即无人机即飞即调参。本发明实现了在无通信下无人机依靠周围局部信息下的自主决策选择任务目标，能够灵活应用于多种无人机决策任务目标选择任务场景，具有实机部署的实用性。