钢结构桥梁锈蚀病害语义分割方法、装置、设备及介质与流程

本技术涉及桥梁病害检测，具体涉及一种钢结构桥梁锈蚀病害语义分割方法、装置、设备及介质。

背景技术：

1、桥梁作为重要的交通基础设施，其结构安全直接关系到人民生命财产安全。钢结构锈蚀会降低构件的承载能力，增加结构失效的风险。通过锈蚀检测，可以及时发现结构潜在的安全问题，采取措施避免事故发生。但传统的人工检测锈蚀方式存在效率低、易漏检等问题。

2、随着人工智能等技术的发展，已有研究人员利用图像语义分割技术来识别图像中的锈蚀病害，但是，目前语义分割技术仅仅在一些小尺寸图像上识别效果好，其主要原因是因此在计算推理过程中需要耗费大量计算资源，从而导致在对无人机拍摄的4k及以上分辨率的图像进行训练、推理时，由于硬件性能有限，无法顺利运行且由于锈蚀病害在大图中占比较小，使得锈蚀病害难以被准确识别。

技术实现思路

1、本技术提供一种钢结构桥梁锈蚀病害语义分割方法、装置、设备及介质，能够有效减少对硬件设备的依赖，同时还提高了对小目标区域的识别能力。

2、第一方面，本技术实施例提供一种钢结构桥梁锈蚀病害语义分割方法，所述钢结构桥梁锈蚀病害语义分割方法包括：

3、获取桥梁高分辨率的锈蚀病害图片并标注生成标注图像，基于设定切割尺寸、设定切割步长，将锈蚀病害图片和标注图像均切割为设定尺寸的图像块；

4、将改进的三分支网络结构作为语义分割算法，搭建网络模型，并采用切割得到图像块对网络模型进行训练；

5、获取待预测图像并基于设定切割尺寸和设定切割步长将待预测图像切割为设定尺寸的待预测图像块，输入训练完成的网络模型得到预测结果；

6、构建空白图像，并基于预设填充拼接规则将各待预测图像块的锈蚀病害预测结果图像填充至空白图像中，完成预测结果拼接。

7、结合第一方面，在一种实施方式中，所述获取桥梁高分辨率的锈蚀病害图片并标注生成标注图像，具体包括：

8、获取桥梁高分辨率的锈蚀病害图片；

9、基于图像分割模型或主动标注方式，对获取的锈蚀病害图片中的锈蚀病害部位进行标注，得到标注图像。

10、结合第一方面，在一种实施方式中，所述基于设定切割尺寸、设定切割步长，将锈蚀病害图片和标注图像均切割为设定尺寸的图像块，具体包括：

11、以第一大小×第一大小的像素块为设定切割尺寸，以第二大小的像素为设定切割步长；

12、按照从左向右、从上往下的切割顺序，将锈蚀病害图片切割成多个第一大小×第一大小像素的图像块，将标注图像切割成多个第一大小×第一大小像素的图像块；

13、其中，第二大小对应值为第一大小对应值的一半。

14、结合第一方面，在一种实施方式中，在将锈蚀病害图片和标注图像均切割为设定尺寸的图像块之后，还包括：

15、依次获取标注图像的图像块，判断获取的图像块中锈蚀病害像素是否大于整个图像块像素的预设百分比：

16、若是，则保留标注图像的当前图像块；

17、若否，则删除标注图像的当前图像块，同时删除对应锈蚀病害图片的图像块。

18、结合第一方面，在一种实施方式中，所述获取待预测图像并基于设定切割尺寸和设定切割步长将待预测图像切割为设定尺寸的待预测图像块，输入训练完成的网络模型得到预测结果，具体包括：

19、获取待预测图像，基于设定切割尺寸和设定切割步长将待预测图像切割为多个第一大小×第一大小像素的待预测图像块；

20、将待预测图像块输入训练完成的网络模型，对各待预测图像块中的锈蚀病害部位进行识别，得到待预测图像块的锈蚀病害预测结果图像。

21、结合第一方面，在一种实施方式中，所述构建空白图像，并基于预设填充拼接规则将各待预测图像块的锈蚀病害预测结果图像填充至空白图像中，完成预测结果拼接，具体包括：

22、构建与待预测图像像素大小相同的空白图像，并依次按照第一填充规则和第二填充规则对空白图像进行像素填充，得到填充后图像；

23、以第三大小的像素为移动步长，按照从左向右、从上往下的顺序，依次将锈蚀病害预测结果图像填充至填充后图像中；

24、将填充后图像中进行像素填充的部分进行裁剪，得到预测结果拼接图；

25、其中，所述第一填充规则为：将待预测图像宽度上像素个数与第一大小进行相除计算，得到第一余数，第一大小与第一余数间的差值即为空白图像宽度方向上需填充的像素个数，将待预测图像高度上像素个数与第一大小进行相除计算，得到第二余数，第一大小与第二余数间的差值即为空白图像高度方向上需填充的像素个数，对空白图像进行像素填充，得到预填充图像；

26、所述第二填充规则为：在预填充图像的四周填充第三大小个像素，得到填充后图像，所述第三大小对应值为第二大小对应值的一半。

27、结合第一方面，在一种实施方式中，所述将改进的三分支网络结构作为语义分割算法，搭建网络模型，并采用切割得到图像块对网络模型进行训练，具体包括：

28、在pidnet的i 分支上添加像素注意力增强模块，得到改进的三分支网络结构；

29、将改进的三分支网络结构作为语义分割算法，搭建网络模型；

30、采用切割得到的锈蚀病害图片和标注图像的图像块对网络模型进行训练。

31、第二方面，本技术实施例提供一种钢结构桥梁锈蚀病害语义分割装置，所述钢结构桥梁锈蚀病害语义分割装置包括：

32、标注模块，其用于获取桥梁高分辨率的锈蚀病害图片并标注生成标注图像，基于设定切割尺寸、设定切割步长，将锈蚀病害图片和标注图像均切割为设定尺寸的图像块；

33、训练模块，其用于将改进的三分支网络结构作为语义分割算法，搭建网络模型，并采用切割得到图像块对网络模型进行训练；

34、预测模块，其用于获取待预测图像并基于设定切割尺寸和设定切割步长将待预测图像切割为设定尺寸的待预测图像块，输入训练完成的网络模型得到预测结果；

35、拼接模块，其用于构建空白图像，并基于预设填充拼接规则将各待预测图像块的锈蚀病害预测结果图像填充至空白图像中，完成预测结果拼接。

36、第三方面，本技术实施例提供一种钢结构桥梁锈蚀病害语义分割设备，所述钢结构桥梁锈蚀病害语义分割设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的钢结构桥梁锈蚀病害语义分割程序，其中所述钢结构桥梁锈蚀病害语义分割程序被所述处理器执行时，实现上述所述的钢结构桥梁锈蚀病害语义分割方法的步骤。

37、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有钢结构桥梁锈蚀病害语义分割程序，其中所述钢结构桥梁锈蚀病害语义分割程序被处理器执行时，实现上述所述的钢结构桥梁锈蚀病害语义分割方法的步骤。

38、本技术实施例提供的技术方案带来的有益效果包括：

39、通过将超高分辨率图像切割成小图进行训练和推理，有效减少了对硬件设备的依赖，同时还提高了对小目标区域的识别能力，能够很好地应用于基于无人机的钢结构桥梁锈蚀病害检测项目中。