一种低秩多尺度多模态行人重识别方法、电子设备及存储介质
技术特征:
1.一种低秩多尺度多模态行人重识别方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的低秩多尺度多模态行人重识别方法,其特征在于,获得多模态特征的具体过程如下:
3.根据权利要求2所述的低秩多尺度多模态行人重识别方法,其特征在于,ti多尺度交互特征的获得过程具体如下:
4.根据权利要求3所述的低秩多尺度多模态行人重识别方法,其特征在于,rgb多尺度交互特征、ni多尺度交互特征的获取过程具体与ti多尺度交互特征的获取过程相同。
5.根据权利要求2所述的低秩多尺度多模态行人重识别方法,其特征在于,ti模态嵌入增强特征的获得过程具体如下:
6.根据权利要求5所述的低秩多尺度多模态行人重识别方法,其特征在于,rgb模态嵌入增强特征以及ni模态嵌入增强特征的获得方法与ti模态嵌入增强特征的获得方法相同。
7.根据权利要求1-6任意一项所述的低秩多尺度多模态行人重识别方法,其特征在于,在低秩多尺度多模态网络模型中还设有多模态混合损失函数模块,所述多模态混合损失函数模块用于对预测分类结果进行验证。
8.根据权利要求7所述的低秩多尺度多模态行人重识别方法,其特征在于,采用多模态混合损失函数模块对低秩多尺度多模态网络模型在训练阶段的总损失进行计算的过程如下:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其特征在于,包括程序,所述程序能够被处理器执行以实现如权利要求1-8中任一项所述的低秩多尺度多模态行人重识别方法。
技术总结
本发明提供了一种低秩多尺度多模态行人重识别方法、电子设备及存储介质,属于深度学习技术领域;包括获取含有RGB、近红外和热红外的三种模态的行人图像,并将三种模态的行人图像输入三分支特征提取网络中,分别得到从RGB相机中提取的RGB模态特征、从近红外中提取的NI模态特征以及从热红外中提取的TI模态特征;采用低秩多尺度多模态网络模型对三种模态特征进行分别计算,得到多模态特征;将多模态特征对行人进行行人重识别,得到所述行人的行人重识别结果。本发明通过多尺度多模态交互模块吸收其他模态中的有用信息;通过低秩多模态融合模块融合来自其他两种模态的信息,使得模型更高效的融合多种模态特征,同时保持模型低复杂性。
技术研发人员:刘志辉,吴迪,林俞甫,谭凯文,万琴,段小刚
受保护的技术使用者:湖南工程学院
技术研发日:
技术公布日:2024/11/18
文档序号 :
【 40052115 】
技术研发人员:刘志辉,吴迪,林俞甫,谭凯文,万琴,段小刚
技术所有人:湖南工程学院
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
技术研发人员:刘志辉,吴迪,林俞甫,谭凯文,万琴,段小刚
技术所有人:湖南工程学院
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除