一种海上目标跨模态个体识别方法

本发明属于数据识别领域，具体涉及一种海上目标个体识别方法。

背景技术：

1、

2、现有技术中基于图像的个体识别方法往往只考虑单一模态的数据，无法进行跨模态识别。然而，目标个体可能以不同的数据模态（可见光、红外、sar等）出现，有时甚至仅在一个模态中出现一次。因此单模态识别存在数据覆盖不足、识别机会有限的情况。例如某身份的目标仅在可见光图像中出现过一次，当它下一次在红外图像中出现时，由于缺少相应的图像数据，针对红外图像的网络模型无法进行识别。

技术实现思路

1、本发明提出了一种海上目标跨模态个体识别方法，其目的是：解决单模态数据覆盖不足、识别机会过低的情况。

2、本发明技术方案如下：

3、一种海上目标跨模态个体识别方法，步骤包括：

4、步骤1、构建跨模态个体识别网络；

5、所述跨模态个体识别网络具有三个图像输入端，三个图像输入端所对应的图像模态各不相同；

6、跨模态个体识别网络还包括与图像输入端一一对应的多尺度特征提取网络，所述多尺度特征提取网络用于提取输入图像的多尺度模态特征；

7、所述跨模态个体识别网络还包括三个特征融合模块和一个全连接层；三个多尺度特征提取网络所输出的多尺度模态特征两两组合、输入到对应的特征融合模块中分别进行融合，得到三组多尺度融合特征；所述全连接层根据所有多尺度融合特征的拼接结果得到二分类结果，所述二分类结果用于指示所输入的三个图像中有两个图像的目标个体相同的概率；

8、步骤2、对所述跨模态个体识别网络进行训练；

9、步骤3、使用训练后的跨模态个体识别网络进行目标身份的识别。

10、作为所述海上目标跨模态个体识别方法的进一步改进：三个图像输入端分别用于输入可见光图像、红外图像和sar图像。

11、作为所述海上目标跨模态个体识别方法的进一步改进：所述多尺度特征提取网络包括若干依次串联的若干入网模块，通过其中最后个入网模块得到个不同尺度的特征图，所述个不同尺度的特征图构成多尺度特征提取网络所输出的多尺度模态特征。

12、作为所述海上目标跨模态个体识别方法的进一步改进：所述特征融合模块包括个与多尺度模态特征的不同尺度特征图一一对应的处理支路，特征融合模块所输入的两个多尺度模态特征的同一尺度的特征图输入到对应的处理支路中进行如下处理：先将特征图进行拼接，然后通过卷积展开为特征向量，再通过一层连接层调整大小，得到该尺度的融合特征；

13、各处理支路得到的不同尺度的融合特征组成为所属特征融合模块输出的多尺度融合特征。

14、作为所述海上目标跨模态个体识别方法的进一步改进，步骤2包括：

15、步骤2-1、构建第一训练集，所述第一训练集中包含若干初始样本对，每个初始样本对中包含三张不同模态的图像，还包含一个标签，表示该初始样本对中至少有任意两个图像中的目标身份相同，表示该初始样本对中三个图像中的目标身份各不相同；

16、步骤2-2、从第一训练集中筛选出且三个图像只有两个图像中目标身份相同的初始样本对，然后对各初始样本对中的同身份图像使用其它身份的同模态图像进行叠加混合，得到混合样本对；使用所有的混合样本对构成第二训练集；

17、步骤2-3、循环执行步骤2-3-1和步骤2-3-2若干次：

18、步骤2-3-1、按批次从第一训练集中取e个初始样本对分别输入到跨模态个体识别网络中得到各自对应的二分类结果，并分别计算各初始样本对对应的二分类损失：

19、；

20、根据e个二分类损失的平均值更新跨模态个体识别网络的参数；

21、步骤2-3-2、按批次从第二训练集中取e个混合样本对分别输入到跨模态个体识别网络中，并分别计算各混合样本对对应的自适应阈值三元组损失，然后根据e个自适应阈值三元组损失的平均值更新跨模态个体识别网络的参数。

22、作为所述海上目标跨模态个体识别方法的进一步改进，步骤2-2中构建混合样本对的方式为：

23、设初始样本对中的同身份图像为和，随机选择的与和分别同模态、但身份不同的图像为和，则得到的两个混合图像分别为：

24、；

25、；

26、其中和均为大于等于0.5且小于等于1的随机数；

27、然后，根据和构建混合样本对中的标签：

28、；

29、将混合图像和、初始样本对中原有与和身份不同的图像以及标签构建成混合样本对，记为。

30、作为所述海上目标跨模态个体识别方法的进一步改进，自适应阈值三元组损失的计算方式为：

31、；

32、其中，表示计算距离值，是基于和得到的多尺度融合特征，是基于和得到的多尺度融合特征，是基于和得到的多尺度融合特征，为距离差异的阈值。

33、作为所述海上目标跨模态个体识别方法的进一步改进，步骤3包括：

34、步骤3-1、针对待识别图像选择若干组已有图像，每组中包含两个已有图像，所述已有图像是指事先保存在数据库中、且图像中的目标身份已知的图像，选择时要满足以下三个条件：

35、条件1、同组内两个已有图像与待识别图像的模态各不相同；

36、条件2、同组内两个已有图像中目标的身份不同；

37、条件3、若数据库中个体身份数量为偶数，则各组图像中目标的身份与其他组不重复；否则则只有最后一组重复，该组包含数据库中最后一个个体身份和第一个个体身份；

38、步骤3-2、将待识别图像和所有组的已有图像进行组合，分别输入到跨模态个体识别网络中，获得每个组合对应的第一二分类结果；

39、步骤3-3、如果第一二分类结果的最大值大于预设阈值，则首先寻找最大的第一二分类结果值，然后选出该最大值对应的两个已有图像，执行步骤3-4；

40、步骤3-4、设当前所选的两个已有图像为第一已有图像和第二已有图像，挑选第三已有图像，第三已有图像中目标的身份与第一已有图像及第二已有图像中目标的身份均不相同；先将待识别图像、第一已有图像和第三已有图像输入至跨模态个体识别网络，得到第二二分类结果，再将待识别图像、第二已有图像和第三已有图像输入至跨模态个体识别网络，得到第三二分类结果；

41、步骤3-5、如果第二二分类结果大于第三二分类结果，则待识别图像中目标的身份与第一已有图像中目标的身份相同，否则待识别图像中目标的身份与第二已有图像中目标的身份相同。

42、作为所述海上目标跨模态个体识别方法的进一步改进：步骤3-3中如果所有第一二分类结果的最大值小于等于预设阈值，则将当前待识别图像作为不明身份图像，人工标注其目标的身份，然后将其加入到数据库中。

43、作为所述海上目标跨模态个体识别方法的进一步改进：所述阈值为0.5。

44、相对于现有技术，本发明具有以下有益效果：

45、1、本发明基于孪生网络构建了能够处理三种模态数据的个体识别网络，该网络先提取不同模态图像的多尺度模态特征，然后进行两两融合，再根据融合后的结果判断身份是否一致，提高了不同模态下船舶目标个体识别的效果。该方法不需要同时获取目标的三种模态的图像数据，可实现三种模态中任意两种模态目标身份是否一致的判断识别。

46、2、本发明的多尺度特征提取网络通过包含了不同大小卷积核的inception block结构提先取出同一尺度内不同大小的特征，然后通过将后三个inception block的输出三个不同尺度的特征，从而更全面地提取到船舶目标身份相关的特征。

47、3、本发明的特征融合模块能够将三个不同尺度的特征进行拼接和融合学习，从而更好地比较两种模态下所输入目标的特征信息，并最终通过全连接判断上述船舶目标身份是否一致，提高后续分类任务的效果。

48、4、本发明基于图像混合的数据增强方法，通过结合混合参数修改预测标签值，将孪生网络对应的二分类问题转变成标签连续的回归问题，并结合混合参数修改三元组损失的阈值，使其自适应图像混合情况，一方面增加了训练样本的多样性，另一方面促使模型充分学习可判别特征，从而帮助算法模型寻找更好的分类空间，此外还可以稳定训练过程，减少三元组损失中阈值带来的损失跳跃变化。

49、5、本发明将三元组损失引入到模态两两融合的场景中，通过不同身份组合的融合特征之间的距离进行损失计算，进一步提升了不同身份目标的可判别性，提高训练效果和识别的准确性。