一种基于RGB-NIR多模态图像融合的识别方法及系统与流程
技术特征：
1.一种基于rgb-nir多模态图像融合的识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于rgb-nir多模态图像融合的识别方法，其特征在于，所述双模态图像融合通过双模态融合模块进行，具体步骤包括：
3.根据权利要求1所述的基于rgb-nir多模态图像融合的识别方法，其特征在于，所述多次对所述rgb特征图和所述nir特征图进行特征提取以及双模态图像融合，得到最终的融合特征图，具体包括：
4.根据权利要求3所述的基于rgb-nir多模态图像融合的识别方法，其特征在于，所述利用第一bottleneck模块对所述rgb特征图和所述nir特征图进行特征提取，具体包括：对rgb的第一bottleneck模块和nir的第一bottleneck模块采用共享卷积核参数进行特征提取，所述第一bottleneck模块包括rgb的第一bottleneck模块和nir的第一bottleneck模块。
5.根据权利要求1所述的基于rgb-nir多模态图像融合的识别方法，其特征在于，所述bottleneck模块采用深度可分离卷积dsconv，所述深度可分离卷积dsconv的卷积核大小为1*1和3*3。
6.根据权利要求2所述的基于rgb-nir多模态图像融合的识别方法，其特征在于，所述基于全局嵌入特征获得通道级注意力向量具体包括：所述全局嵌入特征通过1×1卷积和sigmoid函数来生成通道级注意力向量。
7.根据权利要求2所述的基于rgb-nir多模态图像融合的识别方法，其特征在于，所述对所述第一rgb特征图和所述第一nir特征图进行通道维度拼接，形成高层输入特征图，再对所述高层输入特征图予以校正，得到校正后的高层输入特征图具体包括：
8.根据权利要求1所述的基于rgb-nir多模态图像融合的识别方法，其特征在于，所述根据所述最终的融合特征图，确定所述待识别物体，具体包括：
9.根据权利要求8所述的基于rgb-nir多模态图像融合的识别方法，其特征在于，所述损失函数的公式如下：
10.根据权利要求1所述的基于rgb-nir多模态图像融合的识别方法，其特征在于，所述卷积层的卷积核大小为7*7,所述最大池化层的卷积核大小为3*3。
11.根据权利要求3所述的基于rgb-nir多模态图像融合的识别方法，其特征在于，所述第一bottleneck模块、所述第二bottleneck模块、所述第三bottleneck模块和所述第四bottleneck模块的堆叠次数分别为3次、4次、6次和3次。
12.一种基于rgb-nir多模态图像融合的识别系统，其特征在于，包括：
技术总结
本发明属于目标检测技术领域，旨在解决现有的相似颜色物体以及在夜间场景下目标物识别不准确的问题。为此目的，本发明公开了一种基于RGB‑NIR多模态图像融合的识别方法及系统，该方法包括以下步骤：获取待识别物体的RGB图像和NIR图像；分别将RGB图像和NIR图像依次经过卷积层和最大池化层处理，得到RGB特征图和NIR特征图；多次对RGB特征图和NIR特征图进行特征提取以及双模态图像融合，并根据最终的融合特征图，确定待识别物体；其中，特征提取通过bottleneck模块进行，双模态图像融合通过双模态融合模块进行。本方法能够解决在黑暗以及待测物体的颜色纹理接近等复杂环境中的目标物检测准确率的问题，并能够达到实时推理速度。
技术研发人员：吴波,战秋成,郑随兵,徐志伟
受保护的技术使用者：睿尔曼智能科技（北京）有限公司
技术研发日：
技术公布日：2024/11/18
技术研发人员：吴波,战秋成,郑随兵,徐志伟
技术所有人：睿尔曼智能科技（北京）有限公司
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除