多模态数据的融合分类方法、系统、存储介质及设备

1.多模态数据的融合分类方法，其特征在于，包括以下步骤：

2.如权利要求1所述的多模态数据的融合分类方法，其特征在于，获取完整模态a和缺失模态b的数据并提取相应的浅层特征，基于得到的浅层特征提取共享特征和专有特征，具体为：利用transfor mer-cnn双分支网络结构来提取完整模态a和缺失模态b的浅层特征ra和rb，进一步得到共享特征ha和hb，以及专有特征pa和pb。

3.如权利要求2所述的多模态数据的融合分类方法，其特征在于，得到共享特征ha和hb期间具有共享注意力机制，具体为：

4.如权利要求1所述的多模态数据的融合分类方法，其特征在于，将完整模态a的类间关系蒸馏到缺失模态b中，利用缩放因子和偏置因子校正缺失模态b的分布参数，使缺失模态b的分布参数在校正后和完整模态a的类间关系保持一致，确定缺失模态b的类间关系；具体为：

5.如权利要求1所述的多模态数据的融合分类方法，其特征在于，根据得到的缺失模态b的类间关系，利用完整模态a的样本特征和样本与类别中心的关系，重建缺失模态b的样本；具体为：利用输出层节点数与类中心数量一致的全连接网络作为学习器，以完整模态a的样本特征为输入，输出是对应每个类中心的权重，通过最小化重建损失和双向知识蒸馏损失训练学习器，使其输出的权重用于重建缺失模态b的样本。

6.如权利要求1所述的多模态数据的融合分类方法，其特征在于，利用重建损失保证在同一模态内，所有类中心的加权之和与当前样本保持一致；利用双向知识蒸馏损失保证模态间的同一样本的类间关系保持一致。

7.如权利要求1所述的多模态数据的融合分类方法，其特征在于，融合权重中的通道注意力权重和空间注意力权重分别在对应的通道维度和空间维度上进行加权求和，得到融合特征，具体为：

8.多模态数据的融合分类系统，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7任一项所述的多模态数据的融合分类方法中的步骤。

10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如权利要求1-7任一项所述的多模态数据的融合分类方法中的步骤。