基于感兴趣区域超分的小目标检测方法、系统及存储介质与流程

本发明涉及图像处理，更具体涉及一种基于感兴趣区域超分的小目标检测方法、系统及存储介质。

背景技术：

1、随着深度学习的普及，计算机视觉领域发展十分迅速，现有的小目标检测算法层出不穷，通过从数据上、网络上、损失函数上优化来提高小目标的检测性能，但是分辨率较小的目标本身存在边缘和细节模糊等问题，在经过多层卷积之后，其特征可能更加微弱甚至消失。目前在小目标检测任务中已经存在较多解决方案，虽然在原有基础上有较大的提升，但是小目标检测性能依旧不足，小目标检测仍然是一个具有挑战性的研究领域。

2、类似的现有技术有公开号为cn116503641a的中国专利申请，公开了一种基于多尺度特征融合的小目标检测方法，包括如下步骤：采集训练图像，在图像中标记出物体位置并标注物体分类，得到物体分类及位置的数据集；建立检测网络模型；将训练图像输入到检测网络模型中进行训练，得到训练好的检测网络模型；将待识别图像输入到检测网络模型得到检测结果。

3、还有公告号为cn113222867b的中国专利申请，提供了一种基于多模板图像的图像数据增强方法及系统，包括：对待增强的图像数据进行分类，并从每类图像数据中选择n个图像作为模板图像；对模板图像进行像素级融合，获得融合图像；将融合图像分别输入分割网络和评估网络中，获得初始概率分布矩阵和n个初始混淆矩阵；其中，分割网络和评估网络相耦合；将n个初始混淆矩阵分别与初始概率分布矩阵逐元素矩阵相乘得到n个新概率分布矩阵；分别计算n个新概率分布矩阵与对应模板图像的交叉熵，并与n个混淆矩阵的迹组成损失函数；基于最小化损失函数的目标，迭代更新分割网络和评估网络的参数，达到预设优化条件后，利用分割网络输出扩充图像。

4、虽然上述两项专利申请在原有图像基础上处理效果有较大的提升，但是小目标检测性能依旧不足，因此，本发明通过提供一种基于感兴趣区域超分的小目标检测方法、系统及存储介质，以提升算法对小目标的检测性能。

技术实现思路

1、通过对感兴趣区域(region of interest，roi)进行超分辨率重建，恢复roi的细节，提升算法对小目标的检测性能，丰富目标检测算法的应用场景，提高算法的鲁棒性。本发明适用于红外图像处理领域，特别是在红外图像重建和目标检测应用中。

2、为达上述发明目的，本发明提供一种基于感兴趣区域超分的小目标检测方法，通过如下步骤进行实现：

3、步骤s1：将输入的图像作为第一图像，使用faster r-cnn算法对所述第一图像进行目标检测，提取所述第一图像中包含所述目标的感兴趣区域作为低分辨率的感兴趣区域，其中，所述目标是指所述第一图像中需要识别或检测的对象；

4、步骤s2：使用超分辨率重建算法对所述低分辨率的感兴趣区域进行图像超分辨率重建，获取高分辨率的第二图像；

5、步骤s3：对所述第二图像进行小目标检测，获取所述小目标的位置，并将所述小目标的位置映射回所述第一图像的坐标空间，获取第三图像，其中，所述小目标是指相对所述第一图像中的所述目标尺寸更小的目标。

6、作为本发明的一种优选技术方案，所述步骤s1中，所述faster r-cnn算法通过使用卷积神经网络的共享卷积特征层提取所述第一图像的特征并输出特征图像。

7、作为本发明的一种优选技术方案，区域提取网络以所述特征图像作为输入，通过滑动窗口方式在所述特征图像上移动，根据所述特征图像上的每个滑动窗口位置分别预测多个候选区域边界框和置信度得分。

8、作为本发明的一种优选技术方案，根据所述特征图像上的每个滑动窗口位置分别预测多个候选区域边界框和置信度得分时，对各个所述候选区域的置信度得分按照从大到小进行排序，并获取所述置信度得分最高的三个所述候选区域作为目标候选区域，其中，各个所述候选区域的尺度和长宽比是不相同的。

9、作为本发明的一种优选技术方案，获取所述置信度得分最高的三个所述候选区域作为目标候选区域之后，还将所述目标候选区域输入感兴趣区域池化层。

10、作为本发明的一种优选技术方案，所述感兴趣区域池化层将不同大小的所述目标候选区域的坐标映射到所述第一图像上，并截取所述第一图像上的候选区域并映射为固定大小的固定图，其中，预测多个所述目标候选区域边界框的坐标和宽高在映射到所述第一图像的尺寸上时需要进行损失计算。

11、作为本发明的一种优选技术方案，所述超分辨率重建算法对固定大小的所述固定图进行超分辨率重建，并将超分辨率重建后的roi送入分类和回归分支，用于所述目标分类和所述边界框回归，其中，所述超分辨率重建算法为edsr网络。

12、作为本发明的一种优选技术方案，所述损失计算包括：

13、重构后的小目标检测网络损失函数主要包括三部分：分类损失lc、边界框回归损失lb和超分辨率损失ls，用如下公式表示：

14、

15、

16、

17、ltotal＝lc+αlb+ls

18、lcls(pi)＝-(1-pi)γlog(pi)

19、

20、

21、其中，ltotal表示所有的损失之和，ncls表示锚的个数，nreg表示回归框的个数，nsr表示像素个数，α表示平衡因子，i表示锚索引，pi表示预测为正的概率，表示对应的gt预测概率，ti表示预测边界框，表示预测为正的锚对应的gt box，lcls表示焦点损失，lreg表示平滑l1损失，lsr表示l1损失，otherwise表示另外的情况，γ表示聚焦参数，n表示像素个数。

22、本发明还提供一种如上所述的基于感兴趣区域超分的小目标检测系统，包括如下模块：

23、提取单元，用于将输入的图像作为第一图像，使用faster r-cnn算法对所述第一图像进行目标检测，提取所述第一图像中包含所述目标的感兴趣区域作为低分辨率的感兴趣区域，其中，所述目标是指所述第一图像中需要识别或检测的对象；

24、重建单元，用于使用超分辨率重建算法对所述低分辨率的感兴趣区域进行图像超分辨率重建，获取高分辨率的第二图像；

25、映射单元，对所述第二图像进行小目标检测，获取所述小目标的位置，并将所述小目标的位置映射回所述第一图像的坐标空间，获取第三图像，其中，所述小目标是指相对所述第一图像中的所述目标尺寸更小的目标。

26、本发明还提供一种存储介质，所述存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述所述的基于感兴趣区域超分的小目标检测方法。

27、与现有技术相比，本发明的有益效果至少如下所述：

28、本发明的技术方案通过使用faster r-cnn算法对第一图像进行目标检测，提取第一图像中包含目标的感兴趣区域作为低分辨率的感兴趣区域；识别图像中可能包含目标的区域，即感兴趣区域(roi)，为后续的目标识别提供准确的定位。使用超分辨率重建算法对低分辨率的感兴趣区域进行图像超分辨率重建，获取高分辨率的第二图像；通过利用图像的局部细节和全局上下文信息，恢复出更多的细节和清晰度，使得目标在视觉上更加清晰和易于识别，为后续的目标检测提供了更高质量的输入图像，从而提高目标检测的准确率。对第二图像进行小目标检测，获取小目标的位置，并将小目标的位置映射回第一图像的坐标空间，使得最终的小目标检测结果能够与第一图像进行无缝对接和融合。

29、通过上述步骤之间的配合，重新设计目标检测网络结构，通过对感兴趣区域(region of interest，roi)进行超分辨率重建，提升算法对小目标的检测性能，提高算法的鲁棒性，使得该方法可以适用更多应用场景。