一种基于热力图引导的三通道图像实例分割方法

本发明涉及图像处理，具体是一种基于热力图引导的三通道图像实例分割方法。

背景技术：

1、在图像处理领域，图像实例分割作为一项关键技术，旨在精确标识图像中的个体目标，并为计算机视觉系统提供详细的语义信息。当前，随着图像实例分割技术的不断发展，其在医学影像分析、自动驾驶、智能监控等领域的应用愈发广泛。然而，现有的图像实例分割方法在面临某些复杂情境下，如目标之间的重叠、非均匀光照和图像中的噪声等问题时，往往表现出有限的鲁棒性和准确性。此外，传统方法通常对目标的空间尺度和形状变化较为敏感，难以满足实际应用中对多样化目标进行精准分割的需求。

2、为应对上述挑战，本发明提出了一种基于热力图引导的三通道图像实例分割方法。该方法创新地利用热力图信息引导低通滤波通道，通过对图像中目标的热力图进行学习和引导滤除图像中的噪声，并通过高通滤波通道捕捉图像中的高频信息，实现了对复杂场景中个体目标的高效、准确分割。相较于传统方法，本发明的方法在处理目标间交叠、大尺度变化和光照变化等复杂情境下表现出更强的鲁棒性和适应性。因此，本发明旨在为图像实例分割领域带来一种创新的、高效的解决方案，以提升计算机视觉系统在复杂场景下的图像解释和理解能力。通过该方法，我们期望能够为智能交通系统、视觉引导和医学图像等领域提供更可靠更精准鲁棒性更强的图像实例分割算法，推动图像实例分割技术在更多实际应用中的广泛落地。

技术实现思路

1、本发明要解决的技术问题是提供一种基于热力图引导的三通道图像实例分割方法，能够充分利用热力图信息引导低通滤波通道滤除图像中的背景噪声，并通过高通滤波器通道捕捉图像的高频信息。通过三通道能够更全面、更准确地捕捉图像中的纹理特征和上下文特征，提高了目标检测的准确性和稳定性，提高模型对目标和上下文特征的理解和泛化能力。

2、本发明的技术方案为：

3、一种基于热力图引导的三通道图像实例分割方法，具体包括有以下步骤：

4、(1)、进行图像预处理，然后采用主干网络中的卷积模块来提取图像中的特征，得到输入特征；

5、(2)、采用热力图引导通道计算得到自适应热力图引导参数向量；

6、(3)、采用低通滤波通道将特征提取图进行低通滤波后，再和自适应热力图引导参数向量进行自适应特征融合，得到热力图引导后的特征；

7、(4)、将输入特征图和引导后的特征图作差输入到高通滤波引导通道，通过空间注意力机制使模型更加聚焦于图像中的目标区域，以便更有效地捕获目标或任务关注的重要信息，同时抑制不相关的纹理信息；

8、(5)、将经过热力图引导后的低通滤波通道输出特征与高通滤波输出特征进行相加，再通过分割头得到类别、边框位置和掩码，叠加后得到实例分割结果。

9、输入的待检测图像定义为输入图像p；所述的图像预处理是将所有的训练图像通过主干网络进行多重卷积处理；通过对相关任务的分析并基于已有数据集进行训练，得到训练好的网络，输入图像p到训练好的网络中进行实例分割。

10、所述的一种基于热力图引导的三通道图像实例分割方法的具体步骤为：

11、(1)、采用常用的主干网络模块将输入图像p进行卷积操作从而进行特征提取，然后经过一次卷积操作，得到输入特征x；

12、(2)、将特征x输入热力图引导通道，得到输入特征的热力图m(i,j)：

13、

14、其中i、j、n分别为特征的行索引、列索引和通道数。

15、(3)将热力图分解为背景区域sb、目标高热区域sth和目标低热区域stl时，满足m＝sb+sth+stl，为了取得更好的实例分割效果，使得sb区域高热足够小，同时确保sth和stl能够充分覆盖目标区域，从而引导低通滤波路径输出的特征对应的热力图满足如下目标函数：

16、

17、(4)将所得到的的热力图通过softmax函数分解为s×s个不同的局部区域，在目标函数的引导下，通过softmax操作我们得到一个属于该目标的概率最大的向量u来表示该区域，令c＝s×s，m＝{m1,m2,…,mc}，即：

18、

19、(5)对于低通滤波器路径，通过卷积操作对整个输入进行特征提取，接着通过池化操作降低了特征图的空间分辨率，保留了主要的特征信息，并确保模型能够更好地关注整体图像的结构。最后，通过上采样操作用于恢复特征图的空间分辨率，使得输出特征图的尺寸与原始热力图相匹配，得到

20、

21、(6)结合低通滤波器路径中得到的特征图我们可以通过将与u进行按元素相乘的操作，得到通过热力图引导的低通滤波的结果如公式5：

22、

23、(7)对于高通滤波器路径的输入是通过原始特征x和低通滤波器路径的输出相减得到的。如公式6：

24、

25、(8)在高通滤波路径中，引入了空间注意力机制，该机制通过对目标特征进行加权操作，强调了图像中的重要区域，同时抑制了不相关的纹理信息。具体而言，我们执行均值和最大值操作，得到了空间注意力加权后的高通特征。这一操作使得模型能够更有针对性地关注图像中包含目标信息的位置，同时减弱了那些仅包含纹理信息的区域的影响。通过这种方式，我们实现了对高通滤波器输出的精细调节，使其更加专注于包含目标边缘的关键区域。如公式7：

26、

27、其中，σ(·)为sigmiod激活函数，为concat操作，f为3×3卷积，fmax(·)为在通道维度上对特征图上同一位置取最大值，fmean(·)在通道维度对特征图上同一位置取平均值。

28、(9)高通滤波通道最终的输出如公式8

29、

30、其中，⊙为点乘操作，f为3×3卷积。

31、(10)将空间注意力加权后的高通特征与经过热力图引导径后的低通滤波路径输出的结果相加。如公式9：

32、

33、最后，将得到的特征y输入到分割头中，分别得到目标物体的类别class、目标物体的位置边框box和目标的掩码mask，并将其加载在待实例分割的图像上，最终完成实例分割任务。

34、本发明的优点：

35、(1)本发明采用热力图引导的方式引导低通滤波通道滤除图像中的背景噪声，实现了一种自适应的滤波机制，使得模型更倾向于关注具有高语义强度的区域。这有助于减少背景干扰，使得模型更专注于目标的中央部分，同时也使得模型能够更注重整体的上下文特征，可以有效解决复杂背景条件下的实例分割精度；

36、(2)本发明通过高通滤波通道捕捉图像的高频信息，特别是目标的边缘和细微几何特征。通过结合空间注意力机制调整模型对图像不同区域的关注度。这种结合使得模型能够更有针对性地强化对目标边界的感知，从而提高了对细节信息的捕捉能力，有助于模型更好地理解目标的几何形状和结构，进一步有效提高大尺度变化下的实例分割能力，让模型更具鲁棒性；

37、(3)本发明通过三个通道的结合，即热力图引导通道、低通滤波通道和高通滤波通道，形成了的整体实例分割网络框架。通过整合不同频率的信息，该方法能够更全面、准确地捕捉图像中的目标特征，为视觉任务提供了一种有效的特征提取方法。这种设计能够在实际应用中提高模型对目标结构和上下文特征的理解和泛化能力，能够有效提升背景信息复杂、光照强度不一、大尺度变化等情景下的实例分割效果。