基于图像识别的车辆表面缺陷检测方法及系统与流程

本发明涉及车辆表面缺陷检测，尤其涉及基于图像识别的车辆表面缺陷检测方法及系统。

背景技术：

1、客货滚装运输在是一种十分重要的交通运输方式，在海峡港口等地更是发挥着不可替代的民生保障作用。另外，随着新能源汽车产业的持续快速发展，将有更多的新能源汽车进入千家万户，滚装客船载运新能源汽车的情况将变得越来越普遍。

2、随着滚装客船数量和汽车销量的增长，运输汽车过程产生的责任纠纷也随着增大，汽车运输过程的磕碰，汽车表面的缺陷，需要在汽车上船前进行人工取证，才能保证运输过程汽车质量的完好，同时便于区分汽车运输过程受损的责任方。往往一艘汽车滚装船，需要运输上千辆汽车，通过人工取证效率低，除了增加人工成本外，还增加检查的时间成本。

3、因此，需要提供基于图像识别的车辆表面缺陷检测方法及系统，用于实现智能化地识别滚装客船载运新能源汽车的表面缺陷，为运输过程中汽车货物受损责任区分提供数据支持。

技术实现思路

1、本发明提供了基于图像识别的车辆表面缺陷检测方法，包括：通过设置在入口通道的图像采集装置采集待检测汽车的汽车入口图像集，其中，所述汽车进入图像集至少包括汽车的左侧图像、右侧图像、顶部图像、底部图像、车头图像及车尾图像；基于所述汽车入口图像集，确定所述待检测汽车的轮廓信息和表面信息，基于所述待检测汽车的轮廓信息和表面信息，确定目标样本车辆，获取目标样本车辆的汽车样本图像集；基于所述待检测汽车的汽车入口图像集和所述目标样本车辆的汽车样本图像集，确定所述待检测汽车的入口处车辆表面缺陷检测信息；基于所述待检测汽车的入口处车辆表面缺陷检测信息，确定入口放行指令；通过设置在出口通道的图像采集装置采集待检测汽车的汽车出口图像集，其中，所述汽车出口图像集至少包括汽车的左侧图像、右侧图像、顶部图像、底部图像、车头图像及车尾图像；基于所述汽车入口图像集，确定所述待检测汽车的轮廓信息与表面信息，基于所述待检测汽车的轮廓信息与表面信息，确定目标样本车辆，获取目标样本车辆的汽车样本图像集；基于所述待检测汽车的汽车出口图像集和所述目标样本车辆的汽车样本图像集，确定所述待检测汽车的出口处车辆表面缺陷检测信息；基于所述待检测汽车的入口处车辆表面缺陷检测信息，确定出口放行指令。

2、更进一步地，所述图像采集装置包括雷达感应组件、触发判定组件、第一图像采集组件及第二图像采集组件，其中，所述第二图像采集组件包括多层龙门架层、车尾图像采集设备、左侧图像采集设备、右侧图像采集设备、车顶图像采集设备、车头图像采集设备与车底图像采集设备，所述多层龙门架层包括第一层栏、第二层栏与第三层栏，所述车尾图像采集设备布置于所述第一层栏，所述左侧图像采集设备、右侧图像采集设备及车顶图像采集设备均布置于所述第二层栏，所述车尾图像采集设备布置于所述第三层栏，所述车底图像采集设备与所述车顶图像采集设备相对设置；通过设置在入口通道的图像采集装置采集待检测汽车的汽车入口图像集，包括：通过雷达感应组件的输出信号，判断是否触发第一图像采集组件；若判定触发第一图像采集组件，则控制所述第一图像采集组件获取视频序列；所述触发判定组件通过车辆检测模型基于所述视频序列，判断是否触发第二图像采集组件；若判定触发第二图像采集组件，则控制所述第二图像采集组件采集待检测汽车的汽车入口图像集。

3、更进一步地，基于所述待检测汽车的汽车入口图像集和所述目标样本车辆的汽车样本图像集，确定所述待检测汽车的车辆表面缺陷检测信息，包括：根据所述待检测汽车的表面信息，确定多个表面区域；基于所述待检测汽车的汽车入口图像集，得到每个所述表面区域的第一区域图像；基于所述目标样本车辆的汽车样本图像集，得到每个所述表面区域的第二区域图像；对于每个所述表面区域，基于所述表面区域的第一区域图像和第二区域图像，生成所述表面区域的差分图像；基于入口通道的环境信息与基础差分阈值，确定像素差分阈值；基于所述表面区域的差分图像与所述像素差分阈值，判断是否存在异常表面区域；若判定存在异常表面区域，基于所述异常表面区域的第一区域图像和第二区域图像，标识缺陷位置与缺陷类型。

4、更进一步地，所述入口通道的环境信息包括当前光照信息与当前颗粒物信息；所述基于入口通道的环境信息与基础差分阈值，确定像素差分阈值，包括：获取所述目标样本车辆的汽车样本图像集对应的历史光照信息和历史颗粒物信息；基于所述当前光照信息和所述历史光照信息，确定光照差别参数；基于所述当前颗粒物信息和所述历史颗粒物信息，确定颗粒物差别参数；基于所述光照差别参数、颗粒物差别参数以及所述基础差分阈值，确定像素差分阈值。

5、更进一步地，基于所述表面区域的差分图像与所述像素差分阈值，判断是否存在异常表面区域，包括：对于所述表面区域的差分图像的每个像素，基于所述像素的灰度值和所述基础差分阈值，判断所述像素是否为第一异常像素；判断所述第一异常像素的数量是否大于第一数量阈值；若所述第一异常像素的数量小于或等于所述第一数量阈值，判定所述表面区域为正常表面区域；若所述第一异常像素的数量大于所述第一数量阈值，则基于任意两个所述第一异常像素之间的像素距离和灰度差值，对多个第一异常像素进行聚类，确定多个像素聚类簇；基于所述多个像素聚类簇，从所述多个第一异常像素中确定多个第二异常像素；基于每个第二异常像素的灰度值，计算灰度值均值和灰度标准差；基于所述灰度值均值和灰度标准差，计算所述表面区域的差分图像对应的像素差分值；基于所述表面区域的差分图像对应的像素差分值和所述像素差分阈值，判断所述表面区域是否为异常表面区域，若所述表面区域的差分图像对应的像素差分值大于所述像素差分阈值，则所述表面区域为异常表面区域。

6、更进一步地，基于所述异常表面区域的第一区域图像和第二区域图像，标识缺陷位置与缺陷类型，包括：基于所述异常表面区域的第一区域图像和第二区域图像，根据灰度共生矩阵，确定所述异常表面区域的纹理特征；基于所述异常表面区域的第一区域图像和第二区域图像，根据局部二值模式，确定所述异常表面区域的凹陷特征；基于所述异常表面区域的第一区域图像和第二区域图像，根据索贝尔算子，确定所述异常表面区域的划痕特征；通过缺陷识别模型，基于所述异常表面区域的纹理特征、凹陷特征及划痕特征，确定所述异常表面区域的缺陷位置与缺陷类型。

7、更进一步地，基于所述待检测汽车的轮廓信息和表面信息，确定目标样本车辆，包括：获取多辆样本车辆的汽车样本图像集；基于所述多辆样本车辆的汽车样本图像集，确定多个车辆聚类集合；基于所述待检测汽车的轮廓信息和表面信息以及所述多个车辆聚类集合，确定所述目标样本车辆。

8、更进一步地，基于所述多辆样本车辆的汽车样本图像集，确定多个车辆聚类集合，包括：对于每辆所述样本车辆，基于所述样本车辆的汽车样本图像集，提取所述样本车辆的轮廓信息和表面信息，其中，所述轮廓信息至少包括车底轮廓特征、车头轮廓特征、车尾轮廓特征、车顶轮廓特征、车身左侧轮廓特征和车身右侧轮廓特征，所述表面信息至少包括颜色特征；对于任意两辆样本车辆，基于所述两辆样本车辆的轮廓信息，计算所述两辆样本车辆的轮廓相似度；基于所述两辆样本车辆的轮廓相似度，对所述多辆样本车辆进行第一次聚类，得到多个车辆聚类簇；对于每个所述车辆聚类簇，基于所述车辆聚类簇包括的任意两辆样本车辆的表面信息，计算所述车辆聚类簇包括的任意两辆样本车辆的表面相似度，基于所述车辆聚类簇包括的任意两辆样本车辆的表面相似度，对所述车辆聚类簇包括的样本车辆进行第二次聚类，得到所述车辆聚类簇包括的多个车辆聚类集合；基于所述待检测汽车的轮廓信息和表面信息以及所述多个车辆聚类集合，确定所述目标样本车辆，包括：基于所述待检测汽车的轮廓信息和表面信息以及所述多个车辆聚类集合，确定所述目标样本车辆，包括：基于所述待检测汽车的轮廓信息和每个所述车辆聚类簇的簇中心对应的样本车辆的轮廓信息，从所述多个车辆聚类簇中确定目标车辆聚类簇；基于所述待检测汽车的表面信息和所述目标车辆聚类簇包括的车辆聚类集合的集合中心对应的样本车辆的表面信息，从所述目标车辆聚类簇包括的车辆聚类集合中确定所述目标车辆聚类集合；基于所述待检测汽车的轮廓信息和表面信息和所述目标车辆聚类集合包括的每个样本车辆的轮廓信息和表面信息，从所述目标车辆聚类集合包括的样本车辆中确定所述目标样本车辆。

9、更进一步地，基于所述待检测汽车的入口处车辆表面缺陷检测信息，确定入口放行指令，包括：基于所述异常表面区域的缺陷位置与缺陷类型，确定所述入口放行指令，其中，所述入口放行指令为直接放行指令和人工复核后放行指令。

10、本发明提供了基于图像识别的车辆表面缺陷检测系统，用于执行上述的基于图像识别的车辆表面缺陷检测方法，包括：图像采集模块，包括设置在入口通道的图像采集装置，用于采集待检测汽车的汽车入口图像集，其中，所述汽车进入图像集至少包括汽车的左侧图像、右侧图像、顶部图像、底部图像、车头图像及车尾图像；缺陷检测模块，用于基于所述汽车入口图像集，确定所述待检测汽车的轮廓信息与表面信息，基于所述待检测汽车的轮廓信息与表面信息，确定目标样本车辆，获取目标样本车辆的汽车样本图像集，还用于基于所述待检测汽车的汽车入口图像集和所述目标样本车辆的汽车样本图像集，确定所述待检测汽车的入口处车辆表面缺陷检测信息；指令确定模块，用于基于所述待检测汽车的入口处车辆表面缺陷检测信息，确定入口放行指令；所述图像采集模块还包括设置在出口通道的图像采集装置，用于采集待检测汽车的汽车出口图像集，其中，所述汽车出口图像集至少包括汽车的左侧图像、右侧图像、顶部图像、底部图像、车头图像及车尾图像；所述缺陷检测模块还用于基于所述汽车入口图像集，确定所述待检测汽车的轮廓信息与表面信息，基于所述待检测汽车的轮廓信息与表面信息，确定目标样本车辆，获取目标样本车辆的汽车样本图像集，还用于基于所述待检测汽车的汽车出口图像集和所述目标样本车辆的汽车样本图像集，确定所述待检测汽车的出口处车辆表面缺陷检测信息；所述指令确定模块还用于基于所述待检测汽车的入口处车辆表面缺陷检测信息，确定出口放行指令。

11、相比于现有技术，本说明书提供的基于图像识别的车辆表面缺陷检测方法及系统，至少具备以下有益效果：

12、1、通过采集待检测汽车的多个角度图像(左侧、右侧、顶部、底部、车头、车尾)，可以全方位地捕捉车辆表面的信息，从而大大提高了缺陷检测的全面性和准确性。这种多角度检测能够减少盲区，确保任何细微的缺陷都能被及时发现。整个检测流程高度自动化，从图像采集到缺陷检测，再到放行指令的确定，都依赖于先进的图像处理技术和算法。这不仅减轻了人工检测的工作量，还大大提高了检测效率，使得车辆可以快速通过检测区域，减少等待时间。保存了每辆车的入口和出口图像集，以及相应的检测信息。这使得在发现问题时，可以迅速追溯到具体的车辆和检测环节，提高了系统的可靠性和可追溯性。同时，也为后续的质量改进和数据分析提供了宝贵的数据支持。自动化检测减少了人为因素的干扰，降低了因人为疏忽或误判导致的错误率。这对于提高检测精度和减少争议具有重要意义。快速、准确的检测流程可以减少车主的等待时间，提升整体的用户体验。同时，对于无缺陷的车辆，可以迅速给出放行指令，避免了不必要的延误。实现了智能化地识别滚装客船载运新能源汽车的表面缺陷，为运输过程中汽车货物受损责任区分提供数据支持。

13、2、通过考虑当前光照信息和颗粒物信息与历史数据的差异，动态调整像素差分阈值。能够应对不同光照条件和颗粒物干扰，确保在不同环境下都能获得准确的检测结果。自适应阈值能够更精确地识别出真正的异常像素，减少因固定阈值设置不当而导致的误判或漏检情况，能够适用于多种不同的车辆检测场景，包括不同的天气条件(如雨、雪、雾等)和不同的时间段(如昼夜变化)。通过结合纹理特征、凹陷特征和划痕特征等多种特征信息，系统能够更全面地分析异常表面区域，从而更准确地标识缺陷位置和类型。利用灰度共生矩阵、局部二值模式和索贝尔算子等先进算法，能够实现高精度的缺陷定位，有助于后续的处理和修复工作。

14、3、通过综合考虑车辆的轮廓信息和表面信息，可以更加全面地描述一辆车的特征，从而提高车辆识别的准确性和精度。轮廓信息提供了车辆的基本形状和结构，而表面信息如颜色则增加了识别的独特性和区分度。通过两次聚类(先基于轮廓信息，后基于表面信息)来细化分类，能够处理复杂的车辆数据，提高了后续确定目标样本车辆的效率，这种分阶段的聚类方法有助于优化整体计算效率。