一种基于机器视觉的胶路在线3D检测方法及系统与流程

本发明涉及胶路检测，尤其涉及一种基于机器视觉的胶路在线3d检测方法及系统。

背景技术：

1、目前，对点胶胶路的检测最常见的方式是人工目检，主要由检测者凭借肉眼直接观察胶路是否有缺陷，胶水的面积检测则主要通过相机识别胶水的面积进行判断，人工检测方式存在检测速度慢、效率低、检测不稳定、精度一般、人力和管理成本高等缺陷，且人力工作时间有限，无法量化检测标准，容易漏检误检，且部分胶水挥发有一定气味甚至毒性，人工检测存在安全性问题。

2、有的利用相机拍摄胶路的2d图像，通过2d图像来检测胶路缺陷，由于2d图像只包含二维平面信息，无法获知胶路的高度信息，因此对于胶路在某点上过高或过低等缺陷则无法检测。

3、现有的3d传感器虽然能够获取零件表面的高度信息，但由于不知道实际的胶路的位置，无法直接测量出实际胶路横截面的平均高度、宽度等数据，并且胶路的横截面是一个凸包形，其最大高度所在的位置也是不确定的，因此获得零件表面的高度信息后，还是无法直接检测出胶路的缺陷。现有基于机器视觉的3d胶路检测方式，需要对3d胶路图像进行匹配、变换、差分、二值化，得到2d图像，然后通过2d斑点分析算法进行胶路定位检测，检测效率低，无法做到在线检测。

技术实现思路

1、为了解决现有技术的缺陷，本发明的目的在于提供一种基于机器视觉的胶路在线3d检测方法及系统，实现在线检测胶路缺陷，包括断胶、少胶、溢胶、偏移等，检测标准数字化，精确可控，提升良率，检测效率高，降低检测成本，鲁棒性好。

2、为了实现上述目的，本发明提供的基于机器视觉的胶路在线3d检测方法，包括以下步骤：

3、从采集的胶路的3d深度图像中查找定位特征，补正设定的理想胶路中心线；

4、根据设定的检测间隔、胶路检测矩的宽度和高度，生成多个垂直于补正后的理想胶路中心线的胶路检测矩；

5、遍历每个胶路检测矩，在所述3d深度图像中提取出胶路的剖面轮廓线，并对每个剖面轮廓线做处理，获取胶路的左右边缘点和顶点；

6、根据胶路的左右边缘点和顶点，分别计算出胶路的胶宽、胶高、胶路中心点；

7、将计算得到的胶宽、胶高、胶路中心点与设定的阈值进行比对，判断胶路是否异常，以及对应的异常类型。

8、进一步地，所述从采集的胶路的3d深度图像中查找定位特征，补正设定的理想胶路中心线的步骤，进一步包括：

9、使用基于直线查找、圆查找、或模板匹配的特征定位方法，从所述3d深度图像中提取出基准点与基准角度，根据基准点与基准角度，对设定的理想胶路中心线的点集进行刚体变换，变换到所述3d深度图像的坐标系中，生成补正后的理想胶路中心线。

10、进一步地，所述根据设定的检测间隔、胶路检测矩的宽度和高度，生成多个垂直于所述理想胶路中心线的胶路检测矩的步骤，进一步包括：

11、计算出所述理想胶路中心线的长度；

12、根据设定的检测间隔，计算出与所述检测间隔对应的检测点的数量；

13、分别以所有检测点为中心，生成宽度方向垂直于补正后的理想胶路中心线方向的胶路检测矩。

14、进一步地，所述遍历每个胶路检测矩，在所述3d深度图像中提取出胶路的剖面轮廓线的步骤，进一步包括：

15、对于每个胶路检测矩，根据所述胶路检测矩的位置与大小，生成网格状采样点，在所述3d深度图像上取得采样点的深度值，将高度方向的采样值进行平均，得到每个胶路检测矩所在位置的胶路剖面轮廓线。

16、进一步地，还包括：判断物料表面是否水平；

17、若物料表面水平，直接对每个剖面轮廓线做处理，检测出胶路的左右边缘点和顶点；

18、若物料表面不水平，对剖面轮廓线进行校平，对校平后的每个剖面轮廓线做处理，检测出胶路的左右边缘点和顶点；

19、所述对剖面轮廓线进行校平，是采用直线、圆弧、或高阶多项式曲线作为基准的方式，选取剖面轮廓线的两端部分点，拟合成基准直线、圆弧、或多项式曲线，求剖面轮廓线到基准直线、圆弧、或多项式曲线的深度值差，作为新的剖面轮廓线的深度值，得到校平后的剖面轮廓线。

20、进一步地，所述对每个剖面轮廓线做处理，检测出胶路的左右边缘点和顶点的步骤，进一步包括：

21、对所述剖面轮廓线做阈值化，得到胶路的左右边缘点；或，

22、对所述剖面轮廓线求导，求得导数极值点，将所述剖面轮廓线的左右两边变化最快的点作为胶路的左右边缘点；

23、遍历剖面轮廓线上的点，深度值最大的点为剖面轮廓线的顶点。

24、进一步地，所述根据胶路的左右边缘点和顶点，分别计算出胶路的胶宽、胶高、胶路中心点的步骤，进一步包括：计算胶路的左右边缘点之间的距离，得到胶宽；计算顶点到左右边缘点形成直线的距离，得到胶高；计算胶路左右边缘点的中心点，得到胶路中心点。

25、进一步地，所述判断胶路是否异常，以及对应的异常类型的步骤，进一步包括：

26、若胶路检测矩处不存在胶路的左右边缘点，则为断胶异常；

27、若胶宽不在设定阈值内，则为胶宽异常；

28、若胶高不在设定阈值内，则为胶高异常；

29、若胶路中心点不在设定的理想胶路中心线附近设定的阈值范围内，则为胶路偏移。

30、更进一步地，还包括：遍历每段胶路检测矩处的正常或异常信息，对异常的段进行计数，若连续异常的段数超过该类型预设阈值，或总异常段数超过该类型预设阈值，取出异常的段，生成异常区域；根据每种异常类型对应的参数设置，判断这些异常区域是否为最终异常区域。

31、为实现上述目的，本发明还提供一种基于机器视觉的胶路在线3d检测系统，包括：

32、图像采集模块，用于采集胶路的3d深度图像；

33、图像处理模块，用于接收所述图像采集模块采集到的3d深度图像，使用基于直线查找、圆查找、或模板匹配的特征定位方法，从所述3d深度图像中提取出基准点与基准角度，并根据基准点与基准角度，对设定的理想胶路中心线的点集进行刚体变换，变换到实际采集到的深度图像坐标系中；

34、输入模块，用于输入设定的检测指标，包括：检测间隔、胶路检测矩的宽度和高度、胶高缺陷阈值、胶宽缺陷阈值、理想胶路中心线的范围，每种异常类型的连续异常段数阈值，总异常段数阈值，异常区域的宽度、高度和面积阈值；

35、胶路检测矩生成模块，用于根据所述输入模块输入的检测间隔、计算模块得到的理想胶路中心线的长度、检测点的数量，采样出检测点，分别以每个检测点为中心，根据设定的胶路检测矩的宽度和高度，在3d深度图像中生成多个垂直于所述理想胶路中心线的胶路检测矩；

36、剖面轮廓线提取模块，用于遍历每个胶路检测矩，根据胶路检测矩的位置与大小，生成网格状采样点，在3d深度图像上取得采样点的深度值，将高度方向的采样值进行平均，提取到每个胶路检测矩所在位置的胶路剖面轮廓线；并对剖面轮廓线做处理，提取出胶路的左右边缘点和顶点；

37、计算模块，用于计算理想胶路中心线的长度、检测点的数量；计算胶路的左右边缘点之间的距离，得到胶宽；计算胶路的顶点到左右边缘点形成直线的距离，得到胶高；计算胶路左右边缘点的中心点，得到胶路中心点；

38、缺陷判断模块，用于根据所述计算模块得到的胶宽、胶高、胶路中心点，与设定的测指标进行比对，判断胶路是否异常，以及对应的异常类型；用于根据胶路的分段，遍历每段的正常和异常信息，对异常的段进行计数，若连续异常的段数超过该异常类型预设的连续异常段数阈值，或总异常段数超过该异常类型预设的总异常段数阈值，取出异常的段，生成异常区域，并根据每种异常类型对应的参数设置，判断这些异常区域是否为最终异常区域。

39、本发明提供的基于机器视觉的胶路在线3d检测方法，与现有技术相比具有如下有益效果：

40、胶路检测方法基于机器视觉，检测效率高，无需人工操作，可以实现24小时运行全检；

41、采用3d视觉检测，避免了光照、物体表面纹理影响，鲁棒性好；

42、通过补正理想胶路中心线点集，来补正检测区域，无需对整个3d深度图像进行变换，大幅度提高了检测速度。

43、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。