一种基于图像退化的红外弱小目标检测自监督学习方法

本发明涉及目标检测，具体为一种基于图像退化的红外弱小目标检测自监督学习方法。

背景技术：

1、红外弱小目标检测是图像处理任务的重要组成部分，旨在识别红外图像中的暗弱小目标的位置和像素等信息，已成功应用在地空无人机检测、海上远距离舰船识别和复杂场景下异物入侵检测等领域中。

2、近年来，尽管红外弱小目标检测任务发展的非常成熟，但全监督检测方法几乎只关注了网络结构的设计和弱小目标分割区域占比精度，而事实上要训练高精度的弱小目标区域分割模型，依靠的是大规模的图像数据和完美的二值标签。即使有了大规模的图像数据集，二值标签的标注工作也是耗时耗力的。现有通过人工拍摄真实弱小目标图像再进行标注的方法，在数据层面凸显出三点关键性的问题：1）图像背景单一：由于采集工作复杂，人工采集的图像场景过于单一，每种检测方法通常只能泛化在一种数据集上。2）数据分布不均衡：人工采集的单目标图像中，弱小目标的尺寸大小通常为3×3至6×6之间，导致图像背景与目标信息分布严重不均衡，而多目标图像采集成本又高且多个目标无法完全随机的分布在单镜头视野内。3）注释不完美：即使现有通过伪样本生成的弱小目标二值标签已成功的标注，但还是无法实现像素级别的标注，这也是基于图像分割的方法存在精度缺陷的重要原因之一。所以，设计一种基于自监督学习框架的红外弱小目标检测方法是非常必要的。

3、正如上述所论，红外图像中的弱小目标呈现出尺寸小、无特征和形状不确定等令人苦恼的特点，而仅仅为了提高弱小目标的分割面积设计的全监督检测方法，无法充分训练神经网络去真正理解图像的结构信息。所以，本发明认为检测红外图像中弱小目标，关键在于确定弱小目标的位置信息。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于图像退化的红外弱小目标检测自监督学习方法，解决了由于图像数据获取成本过高，标注过程过于繁琐和耗时，导致的现有伪样本生成的图像数据中目标信息与背景信息样本分布极度不平衡、布局不合理和样本不逼真的问题。解决了全监督学习方法由于大量图像层面的计算，带来的计算复杂度和时间复杂度过高的问题。

3、（二）技术方案

4、本发明为了实现上述目的具体采用以下技术方案：

5、一种基于图像退化的红外弱小目标检测自监督学习方法，具体包括如下步骤：

6、s1，准备数据集：准备六种数据集，数据集一、数据集二、数据集三和数据集六用于伪样本生成；数据集四和数据集五用于最终的模型测试；

7、s2，获取红外目标及背景样本：通过模拟生成法和阈值裁剪法获得目标正样本用于伪样本生成；通过混合s1步骤中的公开红外背景数据集获得背景负样本用于伪样本生成；

8、s3，构建图像退化模型：图像退化模型包括目标退化过程和背景退化过程；将步骤s2获得的目标正样本和背景负样本输入图像退化模型中得到退化后的样本库；

9、s4，构建在线伪样本生成模型：在线伪样本生成模型主要包括全局目标约束、局部目标约束和局部灰度级约束；将s3得到的退化后的样本库输入伪样本生成模型中生成红外弱小目标伪样本图像和（位置-置信度标签）数据集；

10、s5，搭建自监督学习框架：自监督学习框架主要包括神经网络的设计和训练策略的设计；

11、s6，损失函数的选择与评价指标的设计：选择合适的损失函数核并设计位置-置信度损失；损失函数核为均方误差（mse）；设计评价指标评价检测模型的性能和精度，包括设计位置偏差率（）指标，适配检测率（）和虚警率（）指标。

12、s7，模型训练与微调：训练红外弱小目标检测模型，将步骤s4中得到的伪样本图像和位置-置信度标签在步骤s5搭建的自监督学习框架中进行训练；使用步骤s1中准备的真实数据集进行模型微调，优化模型参数，进一步提高弱小目标检测的性能；

13、s8，模型保存与测试：待步骤s7训练并微调完成后，固化微调后的网络参数，保存最终弱小目标检测模型；使用步骤s1中剩余的真实数据集测试模型，可直接将真实红外图像输入训练好的端到端模型中，得到标注有检测框和位置信息的结果图像。

14、进一步的，所述s1中，三种公开的红外背景中数据集一为flir数据集、数据集二为tno数据集、数据集三为msrs数据集，用于通过阈值裁剪法获取弱小目标样本数据库；一种包含弱小目标的自制红外数据集六，用于获取真实目标样本数据库；两种公开的包含弱小目标的真实数据集四为nuaa-sirst数据集和数据集五为irdst-real数据集，用于最终的模型测试；

15、进一步的，所述s3中，图像退化模型被解耦为目标退化过程和背景退化过程，以分别解析目标和背景的光学成像特性；二者的退化函数库由模糊退化、亮度/对比度退化和尺度退化等复杂的退化因子构成，拟合更符合真实环境退化机理的图像；

16、所述模糊退化因子，由各向异向高斯模糊函数和多向运动模糊函数构成，用于抑制由于成像系统和目标时刻保持在相对运动的状态，导致真实红外弱小目标图像的背景和目标都存在的模糊退化。

17、所述亮度/对比度退化因子，用于抑制背景样本图像受低照度、高亮和烟雾等因素的影响，形成的亮度/对比度退化和目标样本图像因成像距离和光环境因素的影响，形成不同级别的亮度/对比度退化；

18、所述尺度退化因子，由随机上下采样函数和随即姿态旋转函数构成，用于抑制不同相机和相机分辨率的随机调整导致背景样本发生的尺度退化。

19、进一步的，所述s4中，全局目标约束包括量的约束和位置约束，保证在整体红外背景图像中添加的目标数量在合理的区间，约束目标添加在背景图像整体位置布局更加合理；

20、进一步的，所述s4中，局部目标约束包括图像网格化和量的约束，巧妙地避免了局部区域目标分布不均衡的问题，也消除了出现的“伪目标”现象。

21、进一步的，所述s4中，局部灰度级约束包括局部标准差索引和目标剔除，解决了由于目标样本遭受到最严重的退化，导致的随机添加的目标与局部背景区域特征分布极度相似的问题。

22、进一步的，所述s4中，在线伪样本生成模型输出接口包括伪样本图像输出接口、二值标签图像输出接口和（位置-置信度标签）样本输出接口，用于后续的网络训练和图像处理任务；

23、进一步的，所述s5中，神经网络为简单高效的残差网络，包括头部网络、特征提取网络和尾部网络，用于提取图像的深层特征，稳定梯度的反向传导，并将网络的输出与（位置-置信度标签）进行吻合。

24、所述头部网络，由卷积层、归一化层和最大池化层构成，用于编码图像至特征域；

25、所述特征提取网络，由多个残差块构成，每个残差块由卷积层、归一化层（bn）和激活函数（relu）组成，用于提取图像深层特征信息，聚焦红外图像中的目标位置；

26、所述尾部网络，由平均池化层、全连接层和激活函数组成（位置激活使用sigmoid，置信度激活使用tanh），用于输出适配网络训练的图像特征；

27、进一步的，所述s6中，位置-置信度损失包括位置损失和置信度损失，用于利用中的位置信息和置信度信息分别与网络输出的位置和置信度计算损失值。

28、（三）有益效果

29、与现有技术相比，本发明提供了一种基于图像退化的红外弱小目标检测自监督学习方法，具备以下有益效果：

30、本发明设计了一种基于图像退化的在线伪样本生成方法。首先设计了一种由目标退化和背景退化构成的图像退化模型，获得了符合真实环境退化下的目标和背景样本数据库；并设计了一种在线网格化高阶约束伪样本生成模型，通过三种约束途径，约束小目标的位置、数量和真实性生成伪样本图像，弥合伪样本与真实样本之间的信息鸿沟。

31、本发明构建了一种自监督学习框架，在红外弱小目标检测领域，首次将在线目标位置-置信度数组标签作为约束网络训练的唯一标准并取得了成功。这种训练方式是直接性的像素级别目标定位方式，有效提高了目标检测的准确率，降低了计算复杂度。实验证明，本发明提出的红外弱小目标检测方法的计算复杂度和时间复杂度分别下降了约9.4%和11.1%个百分点，模型大小也仅有1.4m，检测速度也有大幅度的提升。

32、本发明针对自监督学习训练模式，设计了一种位置偏差率评价指标（），通过计算正确检测到的目标的重心位置偏差，评价目标位置的准确性，并进行了大量实验验证本发明提出的训练模式的显著优势。