基于前序引导与图像灰度匹配的视觉识别定位系统及方法

本发明属于视觉检测，尤其涉及一种基于前序引导与图像灰度匹配的视觉识别定位系统及方法。

背景技术：

1、功率半导体器件是电能转化的核心器件。功率半导体器件的质量、可靠性与封装工艺密切相关。当前，为了更大程度地减少功率半导体器件的热、电阻抗以及键合损伤，满足日益提升的高压、大电流、高可靠性等制程需求，功率半导体器件封装技术已开始从传统的全引线键合封装或引线与铜夹扣混合键合封装逐渐向着2d平面、3d堆叠的全铜夹扣键合封装方向发展。全铜夹扣键合封装开始成为当今功率半导体器件制造的最先进键合封装工艺。

2、在全铜夹扣键合封装工艺中，因键合部位主要承受电流反复的开通和关断，是功率半导体器件的主要失效部位。为了保证键合封装后功率半导体器件的稳定性与可靠性，需要在高效封装的基础上确保铜夹扣贴装位置准确，即键合封装设备需要在铜夹扣贴装工位快速获取铜夹扣键合区域的高精度位置信息。因此，针对与芯片门极正确桥接的铜夹扣键合区域，设计一种高精度快速视觉识别定位系统是实现先进键合封装的关键一环。

3、目前现有的键合封装技术中，主要有两类铜夹扣视觉识别定位方法。一类是基于归一化互相关系数（normalized correlation coefficient，ncc）的视觉识别定位方法，通过计算视觉系统所获得的检测图像与模板图像的归一化互相关系数，选择归一化互相关系数最大值时的搜索窗口位置为定位位置，实现对铜夹扣上端键合区域的视觉识别定位。该方法的定位精度较高，且对图像噪声敏感度较低，受光照影响较小，但是由于匹配策略是遍历性的，较大的计算量会导致匹配定位速度较慢，同时对角度测量灵活性差，角度匹配会进一步增加计算量，延长匹配定位时间。另一类是基于图像特征的匹配方法，判断待测图像与模板标准特征的相似性，分析待测图像与模板标准特征之间的位置关系，从而获取位置和角度信息。该方法在特征选择上较为灵活，图像的形状参数、边缘、角点、各类矩等均可作为匹配特征，并且由于提取了图像显著特征，获取图像有效信息，使得计算量显著减小，有效提高了定位速度，但正是由于只使用小部分灰度信息，所以此类方法对特征提取和特征匹配的错误更加敏感，需要剔除错误特征，特征提取和定位直接影响匹配算法的精度，故此类方法的稳定性略差。

技术实现思路

1、有鉴于此，本发明创造旨在提供一种基于前序引导与图像灰度匹配的视觉识别定位系统及方法，提高铜夹扣视觉识别定位的定位速度、定位精度和鲁棒性。

2、为达到上述目的，本发明创造的技术方案是这样实现的：

3、一种基于前序引导与图像灰度匹配的视觉识别定位系统，包括图像采集模块、光源照明模块、检测引导模块、图像匹配定位模块和网络通信模块；其中，

4、光源照明模块用于对待测件进行照明；

5、图像采集模块用于对待测件进行拍摄，并将获得的待测件图像传输至检测引导模块；

6、检测引导模块用于检测视觉识别定位系统是否存在前序检测结果，若存在，则根据前序检测结果对待测件图像进行粗定位，获得局部匹配区域；若不存在，则将待测件图像作为全局匹配区域；

7、图像匹配定位模块用于采用改进的ncc算法对局部匹配区域或全局匹配区域进行目标区域的精确定位，获得视觉定位检测结果，并传输至网络通信模块；其中，在对全局匹配区域进行目标区域的精确定位时，将视觉定位检测结果作为下一次检测的前序检测结果；

8、网络通信模块用于将视觉定位检测结果通过网口传输至键合封装设备控制终端。

9、进一步的，图像采集模块包括相机、双远心镜头和转向棱镜，相机与双远心镜头采用c接口或者cs接口连接，双远心镜头安装在转向棱镜上，相机、双远心镜头与转向棱镜整体通过镜头底座安装在升降平移台上。

10、进一步的，相机的分辨率为×，像元尺寸×，双远心镜头的倍率为，设待测件的目标区域的尺寸为×，则相机与双远心镜头的参数满足下式：

11、。

12、进一步的，光源照明模块包括环形光源和光源控制器，环形光源与光源控制器连接，光源控制器与相机的外触发接口连接，环形光源通过支架固定在转向棱镜的镜口上方，环形光源的照明方向向上。

13、进一步的，检测引导模块包括坐标点计算单元，坐标点计算单元通过下式计算局部匹配区域的基准点坐标：

14、；

15、式中，为前序检测结果中的视觉定位基准点坐标，×为模板图像的尺寸，×为局部匹配区域的尺寸，，。

16、进一步的，图像匹配定位模块包括模板图像截取单元、模板图像信息计算单元、图像局部像素和计算单元、图像下采样单元、图像匹配单元和目标区域的中心点坐标计算单元；其中，

17、模板图像截取单元用于在待测件图像中截取包含目标区域的模板图像，并获取模板图像中目标区域的中心点坐标，将模板图像的长度和宽度中的较小值作为 min_wh；

18、模板图像信息计算单元用于根据模板图像的灰度信息计算模板图像的灰度均值、待测件图像的有偏样本标准差和模板图像的有偏样本标准差；

19、图像局部像素和计算单元用于采用图像积分图方法，通过下式计算搜索窗口的图像局部像素和：

20、；

21、式中， s为与模板图像相同尺寸的搜索窗口，为搜索窗口在待测件图像积分图中对应的右下角坐标，为搜索窗口在待测件图像积分图中对应的左上角坐标；

22、图像下采样单元用于采用图像金子塔方法对模板图像和待测件图像进行 l-1次下采样， l为图像金子塔层数，通过下式计算得到：

23、；

24、式中，为模板图像经过多次下采样后的最小边长；

25、图像匹配单元用于逐层对下采样后的模板图像与待测件图像进行匹配定位，并通过下式计算各层的归一化互相关系数，各层以最大值时搜索窗口的所在位置作为最优匹配定位位置：

26、；

27、式中， i为匹配层数，为第 i层模板与待测件图像的灰度卷积；

28、目标区域的中心点坐标计算单元用于获取局部匹配区域的定位基准点坐标，再结合模板图像中目标区域的中心点坐标与局部匹配区域的基准点坐标，计算待测件图像中目标区域的中心点坐标：

29、。

30、一种利用上述的基于前序引导与图像灰度匹配的视觉识别定位系统实现的视觉识别定位方法，包括如下步骤：

31、s1：通过键合封装设备将待测件移动至检测位置；

32、s2：键合封装设备控制终端向光源照明模块和图像采集模块发送定位指令，光源照明模块以频闪模式对待测件进行照明，图像采集模块对待测件进行图像采集，获得待测件图像；

33、s3：通过检测引导模块检测视觉识别定位系统是否存在前序检测结果，若存在，则根据前序检测结果对待测件图像进行粗定位，获得局部匹配区域；若不存在，则将待测件图像作为全局匹配区域；

34、s4：通过图像匹配定位模块采用改进的ncc算法对局部匹配区域或全局匹配区域进行目标区域的精确定位，获得视觉定位检测结果，并通过网络通信模块将视觉定位检测结果传输至键合封装设备控制终端；其中，在对全局匹配区域进行目标区域的精确定位时，将视觉定位检测结果作为下一次检测的前序检测结果。

35、进一步的，在步骤s3中，设前序检测结果中的视觉定位基准点坐标为，模板图像的尺寸为×，局部匹配区域的尺寸为×，，，则通过下式计算局部匹配区域的基准点坐标：

36、。

37、进一步的，步骤s4具体包括如下步骤：

38、s41：在待测件图像中截取包含目标区域的模板图像，并获取模板图像中目标区域的中心点坐标，将模板图像的长度和宽度中的较小值作为 min_wh；

39、s42：根据模板图像的灰度信息计算模板图像的灰度均值、待测件图像的有偏样本标准差和模板图像的有偏样本标准差；

40、s43：采用图像积分图方法，通过下式计算搜索窗口的图像局部像素和：

41、；

42、式中， s为与模板图像相同尺寸的搜索窗口，为搜索窗口在待测件图像积分图中对应的右下角坐标，为搜索窗口在待测件图像积分图中对应的左上角坐标；

43、s44：采用图像金子塔方法对模板图像和待测件图像 l-1次下采样， l为图像金子塔层数，通过下式计算得到：

44、；

45、式中，为模板图像经过多次下采样后的最小边长；

46、s45：设局部匹配区域为图像金子塔的底层，按图像金子塔从顶层到底层的顺序，逐层对下采样后的模板图像与待测件图像进行匹配定位，并通过下式计算各层的归一化互相关系数，各层以最大值时搜索窗口的所在位置作为最优匹配定位位置：

47、；

48、式中， i为匹配层数，为第 i层模板与待测件图像的灰度卷积；

49、s46：获取局部匹配区域的定位基准点坐标，再结合模板图像中目标区域的中心点坐标与局部匹配区域的基准点坐标，计算待测件图像中目标区域的中心点坐标：

50、。

51、与现有技术相比，本发明创造能够取得如下有益效果：

52、本发明在传统 ncc算法的基础上，结合前序检测结果进行快速定位辅助引导。当对待测件图像进行检测时，先判断系统是否存在前序检测结果，若存在，以前序检测结果的位置为局部匹配区域的基准，在局部匹配区域内进行基于 ncc的图像匹配视觉定位；若没有前序检测结果，则对待测件图像全局进行基于 ncc的图像匹配视觉定位，并将视觉定位检测结果作为前序检测结果，在下一次检测时提供前序引导信息。本发明可以利用前序检测结果排除大量无效图像灰度信息，在减小计算量提高定位速度的同时保证较高的定位精度与较好的算法稳定性。