基于多模态生理信号的决策预测方法和装置

本技术涉及人工智能，更具体地，涉及一种基于多模态生理信号的决策预测方法和决策预测装置。

背景技术：

1、情绪作为决策的重要影响因素，近些年在决策的研究中受到了广泛关注。lerner等人指出情绪构成了强有力的、普遍的、可预测的、有时有害的、有时有益的决策驱动因素。因此，在决策预测模型的研究中，情绪的引入变得至关重要。

技术实现思路

1、有鉴于此，本技术提供了一种基于多模态生理信号的决策预测方法和决策预测装置。

2、本技术的一个方面提供了一种基于多模态生理信号的决策预测方法，包括：

3、获取决策者在做出决策时的脑电采集数据、心电采集数据和皮电采集数据；

4、将上述脑电采集数据、上述心电采集数据和上述皮电采集数据输入至决策预测模型，输出决策预测特征，其中，上述决策预测特征表征上述决策者做出决策后的决策置信度，上述决策预测模型是基于多模态生理信号训练的。

5、根据本技术的实施例，将上述脑电采集数据、上述心电采集数据和上述皮电采集数据输入至决策预测模型，输出决策预测特征，包括：

6、利用多尺度图卷积网络处理上述脑电采集数据，得到目标脑电特征；

7、利用目标神经网络分别处理上述心电采集数据和上述皮电采集数据，得到目标心电特征和目标皮电特征；

8、利用图残差融合网络对上述目标脑电特征、上述目标心电特征和上述目标皮电特征进行多模态融合处理，得到多模态生理特征；

9、利用多任务学习网络处理上述多模态生理特征，得到上述决策预测特征。

10、根据本技术的实施例，利用多尺度图卷积网络处理上述脑电采集数据，得到目标脑电特征，包括：

11、利用多个不同尺度的一维卷积层处理上述脑电采集数据，得到多个多尺度功率特征；

12、对多个上述多尺度功率特征进行融合拼接处理，得到脑电拼接特征，并基于上述脑电拼接特征生成图结构特征；

13、利用图结构滤波层处理上述图结构特征，生成上述目标脑电特征。

14、根据本技术的实施例，上述图结构特征包括多个局部图特征；

15、其中，利用图结构滤波层处理多个上述图结构特征，生成上述目标脑电特征，包括：

16、针对每个上述局部图特征，利用局部图滤波层处理上述局部图特征，得到局部滤波特征；

17、利用全局图滤波层处理多个上述局部滤波特征，得到上述目标脑电特征。

18、根据本技术的实施例，利用目标神经网络分别处理上述心电采集数据和上述皮电采集数据，得到目标心电特征和目标皮电特征，包括：

19、针对上述心电采集数据和上述皮电采集数据中的任一生理采集数据，基于预设提取公式分别从上述生理采集数据中提取递归图特征、马尔科夫转移场特征和格莱姆矩阵角域特征；

20、基于多个颜色通道对上述递归图特征、上述马尔科夫转移场特征和上述格莱姆矩阵角域特征进行排列处理，得到通道图像特征；

21、利用目标残差网络处理上述通道图像特征，得到上述目标心电特征或上述目标皮电特征。

22、根据本技术的实施例，基于预设提取公式分别从上述生理采集数据中提取递归图特征、马尔科夫转移场特征和格莱姆矩阵角域特征，包括：

23、基于第一预设提取公式从上述生理采集数据中提取上述递归图特征；

24、基于第二预设提取公式从上述生理采集数据中提取上述马尔科夫转移场特征；

25、基于第三预设提取公式从上述生理采集数据中提取上述格莱姆矩阵角域特征。

26、根据本技术的实施例，利用图残差融合网络对上述目标脑电特征、上述目标心电特征和上述目标皮电特征进行多模态融合处理，得到多模态生理特征，包括：

27、利用第一图残差融合网络对三个单模态特征进行多模态融合处理，得到三个双模态特征，其中，上述三个单模态特征包括上述目标脑电特征、上述目标心电特征和上述目标皮电特征；

28、利用第二图残差融合网络对上述目标脑电特征、上述目标心电特征、上述目标皮电特征和三个上述双模态特征进行多模态融合处理，得到六个三模态特征；

29、利用全局注意力网络分别处理三个单模态特征、三个上述双模态特征和六个上述三模态特征，得到单模态融合特征、双模态融合特征和三模态融合特征；

30、对单模态融合特征、上述双模态融合特征和上述三模态融合特征进行特征拼接处理，得到上述多模态生理特征。

31、根据本技术的实施例，上述决策预测模型是通过如下方式训练的：

32、响应于模型训练指令，获取多模态训练集，其中，上述多模态训练集包括多个训练样本组合，上述训练样本组合包括训练用户做出决策时的脑电数据样本、心电数据样本、皮电数据样本、情绪标签和决策标签；

33、针对每个上述训练样本组合，利用多尺度初始图卷积网络处理上述脑电数据样本，得到训练脑电特征；

34、利用初始神经网络分别处理上述心电数据样本和上述皮电数据样本，得到训练心电特征和训练皮电特征；

35、利用初始图残差融合网络对上述训练脑电特征、上述训练心电特征和上述训练皮电特征进行多模态融合处理，得到多模态生理训练特征；

36、利用初始多任务学习网络处理上述多模态生理训练特征，得到决策特征和情绪特征，其中，初始预测模型包括上述多尺度初始图卷积网络、上述初始神经网络、上述初始图残差融合网络和上述初始多任务学习网络；

37、根据上述决策特征、上述情绪特征、上述情绪标签和上述决策标签迭代地调整上述初始预测模型的网络参数，得到上述决策预测模型。

38、根据本技术的实施例，根据上述决策特征、上述情绪特征、上述情绪标签和上述决策标签迭代地调整上述初始预测模型的网络参数，得到上述决策预测模型，包括：

39、根据上述决策特征和上述决策标签，生成决策交叉熵损失；

40、根据上述情绪特征和上述情绪标签，生成情绪平滑交叉熵损失；

41、根据上述决策交叉熵损失和上述情绪平滑交叉熵损失，生成决策预测损失值；

42、根据上述决策预测损失值迭代地调整上述初始预测模型的网络参数，得到上述决策预测模型。

43、本技术的另一个方面提供了一种基于多模态生理信号的决策预测装置，包括：

44、第一获取模块，用于获取决策者在做出决策时的脑电采集数据、心电采集数据和皮电采集数据；

45、预测模块，用于将上述脑电采集数据、上述心电采集数据和上述皮电采集数据输入至决策预测模型，输出决策预测特征，其中，上述决策预测特征表征上述决策者做出决策后的决策置信度，上述决策预测模型是基于多模态生理信号训练的。

46、本技术的另一个方面提供了一种电子设备，包括：

47、一个或多个处理器；

48、存储器，用于存储一个或多个程序，

49、其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。

50、本技术的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

51、本技术的另一方面提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

52、根据本技术的实施例，通过多尺度图卷积网络和目标神经网络对脑电采集数据、所述心电采集数据和所述皮电采集数据进行处理，得到目标脑电特征、目标心电特征和目标皮电特征，利用图残差融合网络对目标脑电特征、目标心电特征和目标皮电特征进行多模态融合处理，得到多模态生理特征，由此利用多任务学习网络处理多模态生理特征，得到决策预测特征。通过充分融合脑电、心电和皮电三个模态的特征，提取不同模态间的互补信息，从而提高了预测决策者做出决策正确与否的准确性。