用于遥感图像道路小目标的实例分割方法及装置

本技术涉及图像处理，特别是涉及一种遥感图像道路目标实例分割方法及装置。

背景技术：

1、高分遥感客观记录了各类地物信息，通过人工智能可以获得各类交通和非交通要素的位置、形状、大小、分布、空间关系等各类信息，便于交通指挥和决策，是交通综合调查的主要资料。在城市交通中，人行横道和交叉路口是道路的重要组成部分，同时也被认为是城市交通网络中两个关键的冲突点。这些地点的交通组成、交通特征非常复杂，车辆混杂、交通拥挤堵塞以及不规则的流动不可避免地导致发生交通事故。

2、在遥感图像中，交叉路口和人行横道通常归属于小目标。小目标的可视化信息较少，难以提取到具有鉴别力的特征，并且容易受到外界环境因素的干扰，导致实例分割模型难以精准识别和分割小目标。

技术实现思路

1、本技术要解决的技术问题是无法精准识别和分割小目标对象的技术问题。

2、为解决上述技术问题，本技术提出了以下技术方案：

3、一种遥感图像道路目标实例分割方法，包括下述步骤：

4、s1遥感卫星获取待检测的目标遥感图像，通过输入模块对遥感图像进行预处理；

5、s2骨干网络对预处理后的图像进行特征提取，并将提取到的多分辨率特征在颈部使用双流特征金字塔进行特征融合；

6、s3头部网络分为检测头和原型两个分支，图像进入头部网络完成类别预测和实例分割的细化任务；

7、s4输出高分辨率遥感图像道路目标实例分割结果；

8、其中，采用dmh-yol0模型对所述目标遥感图像进行实例分割，确定所述目标遥感图像中的目标对象；

9、骨干网络部分采用darknet-53结构框架，并融入c2f模块以实现残差学习机制；使用mix-pooling，结合了最大池化和soft-pooling；颈部采用双流特征金字塔融合骨干网络所提取的特征信息，得到特征p3、p4、p5；

10、根据本技术的实施例，所述头部网络以特征图p3为输入，采用双掩码分支，双掩码分支分为空间域分支和频域分支；

11、其中，空间域分支为全卷积结构；对于输入p3，首先经过3个3×3卷积层提取掩码特征；然后对特征图进行上采样，分辨率是原特征图的两倍；

12、对特征图进行3×3卷积得到包含丰富空间域信息的掩码特征f1；

13、f1计算公式为：

14、f1＝conv(upsample(conv(p3)))

15、频域分支使用小波变换模块通过下述步骤进行频域特征映射：

16、首先，利用小波变换模块将输入p3转换为四个频域分量，其中一个为低频分量，另外三个为水平、垂直和对角高频分量，对低频信息进行卷积得到低频特征，将三个高频信息通过concat串接组成一个高频信号；

17、其次，对其进行非线性运算得到高频特征；

18、再次，通过concat将低频特征与高频特征组合，得到频域特征；

19、然后，将特征进行上采样，得到频域特征f2。f2计算公式为：

20、f2＝conv(upsample(wtb(p3)))

21、最后，通过多域注意特征融合模块模块将空间域特征与频域特征相融合，再通过1×1卷积调整特征图的通道数量为k，得到fmask：

22、fmask＝conv(mdaff(f1，f2))。

23、根据本技术的实施例，所述多域注意特征融合模块的融合方法，包括下述步骤：

24、s21对空间域特征f1和频域特征f2进行初始特征融合，融合后的特征通过逐点卷积来关注通道的尺度，包含逐点卷积以及relu的模块；

25、s22经过sigmoid激活函数得到输出值为(0，1)的权重值，通过训练得到权重值，对f1和f2做加权平均得到特征图f’；

26、使用unsqueeze方法增加特征图f’的维度，将其从三维张量[高度，宽度，通道]扩张为四维张量[深度，高度，宽度，通道]，形成用于后续卷积3d特征图；

27、s23使用3d卷积对特征图进行序列特征提取，恢复三维张量，通过计算公式：

28、

29、

30、f＝squeeze(3dconv(unsqueeze(f′)))

31、得到空间域与频域融合后的特征f。

32、根据本技术的实施例，所述dmh-yolo模型的损失函数包含分类损失、回归损失和掩码分类损失三部分；分类损失使用sigmoid函数来计算每个类别的概率，并采用二值交叉熵损失计算全局的类别损失；

33、回归损失为nwd损失，ciou_loss用于计算预测框与目标框之间的iou；

34、掩码分类损失使用二值交叉熵损失(bce loss)进行计算。

35、

36、lbox＝lnwd＝1-nwd(np，ng)

37、lmask＝bce(m，mg)。

38、根据本技术的实施例，所述图像预处理包括提升图像亮度、调整图像大小与灰度图像属性，图像大小调整至1280*1280。

39、本发明的另一目的，是提供了一种遥感图像道路目标实例分割装置，包括：获取单元，用于获取待实例分割的目标遥感图像；

40、确定单元，用于采用dmh-yolo模型对遥感图像进行实例分割，确定所述目标遥感图像中的目标对象，包括：获取目标多尺度特征，然后将所获取多尺度特征输入至dmh-yolo模型，确定所述目标遥感图像中的目标对象。

41、确定单元采用如下步骤获取特征：mix-pooling，结合了最大池化和soft-pooling，分别利用最大池化提取显著特征f1，利用soft pooling保留更多细节信息得到特征f2，所述特征通过结合特征f1、f2得到。

42、确定单元采用如下步骤获取掩码特征：首先经过3个3×3卷积层提取掩码特征。然后对特征图进行上采样，分辨率是原特征图的两倍。

43、进一步地，对特征图进行3×3卷积得到包含丰富空间域信息的掩码特征f1。

44、f1计算公式为：

45、f1＝conv(upsample(conv(p3)))

46、频域分支使用小波变换模块通过下述步骤进行频域特征映射：

47、首先，利用小波变换模块将输入p3转换为四个频域分量，其中一个为低频分量，另外三个为水平、垂直和对角高频分量，对低频信息进行卷积得到低频特征，将三个高频信息通过concat串接组成一个高频信号。频域信息可以为空间域特征提供补充和有用信息。小波变换在图像分析中方发挥着重要作用，有助于更好地理解它们的结构和特征。

48、其次，对其进行非线性运算得到高频特征；

49、再次，通过concat将低频特征与高频特征组合，得到频域特征；

50、然后，将特征进行上采样，得到频域特征f2，f2计算公式为：

51、f2＝conv(upsample(wtb(p3)))

52、最后，通过多域注意特征融合模块(mdaff)将空间域特征与频域特征相融合，再通过1×1卷积调整特征图的通道数量为k，得到fmask：

53、fmask＝conv(mdaff(f1,f2))。

54、在一个实施例中，多域注意特征融合模块，包括空间域特征f1和频域特征f2，其中：

55、s21对空间域特征f1和频域特征f2进行初始特征融合，融合后的特征通过逐点卷积来关注通道的尺度，包含逐点卷积以及relu的模块，相当于一个轻量化的通道注意力模块。

56、s22经过sigmoid激活函数得到输出值为(0，1)的权重值，通过训练得到权重值，对f1和f2做加权平均得到特征图f’；

57、使用unsqueeze方法增加特征图f’的维度，将其从三维张量[高度，宽度，通道]扩张为四维张量[深度，高度，宽度，通道]，形成用于后续卷积3d特征图；

58、s23使用3d卷积对特征图进行序列特征提取，恢复三维张量，通过计算公式：

59、

60、

61、f＝squeeze(3dconv(unsqueeze(f')))

62、得到空间域与频域融合后的特征f。

63、与现有技术相比，本技术至少具有如下有益效果：

64、采用dmh-yolo模型对目标遥感图像进行实例分割，确定目标遥感图像中的目标对象。具体地，dmh-yolo模型模型使用掩码分支提取空间和频域特征用于小目标实例分割，提高了网络对小目标的信息捕获能力，多域注意特征融合模块(mdaff)有效弥合空间特征和频域特征，提高了dmh-yolo模型对道路小目标的分割精度。