一种宽域捕获傅里叶边界特征特殊材料语义分割方法和系统与流程

本发明涉及图像处理，特别涉及一种宽域捕获傅里叶边界特征特殊材料语义分割方法和系统。

背景技术：

1、常见的固体透明特殊材料如玻璃、透明塑料板和光学镜片等，因其独特的透光和反射性能，被广泛应用于各种场景，包括但不限于街道、建筑物外观以及工业生产车间等。然而，这种特性在赋予这类特殊材料广泛应用价值的同时，也为基于机器视觉的智能系统带来了极大的挑战。通过先验知识和复杂的视觉神经系统，人类认知体系能够识别出这类特殊材料是否存在、区分出其表面上反射出的虚拟物象真实物体。对于依赖视觉算法的场景深度估计、目标检测以及驾驶避障等机器视觉系统而言，其准确性会因特殊材料特性引入错误的深度信息和视觉噪声受到极大影响。

2、在实际运用场景中，透明的特殊材料只能提供模糊或不完整的边界，上下文内容会因其透射和反射高度混淆，导致算法分割精度降低。虽然目前的方法在对抗模糊的特殊材料边界和不连贯的上下文信息方面取得了进展，但是没有充分探究对其进行分割任务的问题核心。现有方法常采用深层复杂模块模型提取细粒度信息，以增强分割对象的细节。然而，大面积语义信息特征过度捕获与特殊材料分割任务不匹配。此外，现有方法无法提供鲁棒性边界特征和稳定的边界约束，易受到后续网络逐渐抽象过程中其他特征的干扰，影响最终分割结果。

技术实现思路

1、本发明的目的在于提供了一种宽域捕获傅里叶边界特征特殊材料语义分割方法和系统，以用于避免纵向加深网络导致过度抽象内容捕获所带来的负面影响，从而提高分割精度。

2、本发明实施例的第一方面提供了一种宽域捕获傅里叶边界特征特殊材料语义分割方法，包括以下步骤：

3、获取待分割图像，所述待分割图像包括特殊材料的成像，所述特殊材料为透明度大于预设阈值的材料；

4、将所述待分割图像输入预先训练完成的图像分割模型，以使所述图像分割模型提取到所述待分割图像的目标下采样粗粒度特征、目标上采样粗粒度特征以及交叉转置注意力特征，所述目标上采样粗粒度特征是针对对应的目标下采样粗粒度特征进行上采样得到的；并，

5、对所述目标下采样粗粒度特征进行傅里叶变换得到边界增强特征；

6、根据所述交叉转置注意力特征，对所述边界增强特征以及所述目标上采样粗粒度特征进行融合，得到融合特征；并，

7、得到所述图像分割模型根据所述融合特征输出的分割结果，所述分割结果表征所述特殊材料的成像在所述待分割图像中的边界位置。

8、进一步的，所述图像分割模型还用于：

9、对所述待分割图像使用卷积进行特征提取，并进行batch归一化处理得到预处理特征；

10、对所述预处理特征进行relu激活函数和下采样操作得到初始特征，以便基于所述初始特征提取到所述待分割图像的目标下采样粗粒度特征、目标上采样粗粒度特征以及交叉转置注意力特征。

11、进一步的，所述图像分割模型包括宽域特征捕获模块，所述宽域特征捕获模块包括第一特征捕获单元、第二特征捕获单元、第三特征捕获单元以及第四特征捕获单元，所述第一特征捕获单元、第二特征捕获单元、第三特征捕获单元以及第四特征捕获单元依次连接，相应地，所述图像分割模型提取到所述待分割图像的目标下采样粗粒度特征和目标上采样粗粒度特征，包括：

12、通过所述第一特征捕获单元对所述待分割图像的所述初始特征进行两次下采样，得到两次下采样粗粒度特征，并对第二次下采样粗粒度特征进行两次上采样，得到两次上采样粗粒度特征；

13、依次通过所述第二特征捕获单元、第三特征捕获单元以及第四特征捕获单元中的每一者，针对上一特征捕获单元第二次上采样得到的粗粒度特征进行两次下采样，得到两次下采样粗粒度特征，并对第二次下采样粗粒度特征进行两次上采样，得到两次上采样粗粒度特征；

14、将每一特征捕获单元的两次下采样粗粒度特征进行拼接得到所述目标下采样粗粒度特征，并将每一特征捕获单元的两次上采样粗粒度特征进行拼接得到所述目标上采样粗粒度特征。

15、进一步的，所述图像分割模型包括交叉转置注意力模块，所述宽域特征捕获模块与所述交叉转置注意力模块连接，所述图像分割模型提取到所述交叉转置注意力特征包括：

16、对所述待分割图像的所述初始特征进行下采样，得到待转置特征；

17、对所述第一特征捕获单元的第一次下采样粗粒度特征以及所述待转置特征交叉相乘，得到注意力矩阵；

18、将所述第一特征捕获单元的第一次下采样粗粒度特征以及所述待转置特征与所述注意力矩阵进行矩阵相乘，得到所述交叉转置注意力特征。

19、进一步的，所述根据所述交叉转置注意力特征，对所述边界增强特征以及所述目标上采样粗粒度特征进行融合，得到融合特征包括：

20、将所述交叉转置注意力特征作为调制因子，所述目标上采样粗粒度特征作为偏执因子，对所述边界增强特征进行卷积融合处理，得到所述融合特征。

21、进一步的，所述图像分割模型的训练包括：

22、获取待分割样本图像，待分割样本图像包括样本标签，所述样本标签用于表征所述待分割样本图像的理想分割结果；

23、基于canny算子确定所述待分割样本图像的真实边界特征；

24、将所述待分割样本图像输入初始的图像分割模型，得到所述图像分割模型输出的预测边界特征和分割结果；

25、针对所述真实边界特征以及所述预测边界特征，通过预先构建的边界约束损失lossb计算得到第一损失值；

26、针对所述分割结果以及所述样本标签，通过预先构建的交叉熵损失计算得到第二损失值；

27、根据所述第一损失值和所述第二损失值更新所述图像分割模型的参数，直到所述图像分割模型收敛。

28、本发明实施例的第二方面提供了一种宽域捕获傅里叶边界特征特殊材料语义分割系统，采用以上任一所述的一种宽域捕获傅里叶边界特征特殊材料语义分割方法，具体包括：

29、图像获取模块，用于获取待分割图像，所述待分割图像包括特殊材料的成像，所述特殊材料为透明度大于预设阈值的材料；

30、图像预处理模块，用于所述分割图像进行预处理包括：

31、对所述待分割图像使用卷积进行特征提取，并进行batch归一化处理得到预处理特征；

32、对所述预处理特征进行relu激活函数和下采样操作得到所述初始特征。

33、图像分割模型运行模块，用于将预处理后的所述待分割图像输入预先训练完成的图像分割模型，以使所述图像分割模型提取到所述待分割图像的目标下采样粗粒度特征、目标上采样粗粒度特征以及交叉转置注意力特征；并，

34、对所述目标下采样粗粒度特征进行傅里叶变换得到边界增强特征；

35、根据所述交叉转置注意力特征，对所述边界增强特征以及所述目标上采样粗粒度特征进行融合，得到融合特征；并，

36、得到所述图像分割模型根据所述融合特征输出的分割结果，所述分割结果表征所述特殊材料的成像在所述待分割图像中的边界位置；

37、图像分割模型训练模块，用于对所述图像分割模型进行训练。

38、本发明至少包括以下有益效果：

39、本发明提供了一种宽域捕获傅里叶边界特征特殊材料语义分割方法和系统，采用该方法提取的待分割图像的目标下采样粗粒度特征以及对应的目标上采样粗粒度特征(即图像浅层的粗粒度语义信息)，包含了待分割图像中，特殊材料成像的未被分散和侵蚀的边界特征。并且针对特殊材料的反射特性，本发明通过交叉转置注意力的方式抵抗透明材料反射噪声对浅层语义信息区域一致性破坏的影响。最后，利用傅里叶卷积方式增强边界特征，有效平衡了异构的粗粒度特征、注意力语义区域以及傅里叶边界信息。本发明与现有方法相比，避免了纵向加深网络导致过度抽象内容捕获所带来的负面影响，提高了分割精度。

40、下面结合附图和具体实施例对本发明作进一步说明。