用于PCB的元器件字符检测方法、系统、设备及介质与流程

本发明涉及机器视觉，具体的，本发明应用于工业检测领域，特别是涉及一种用于pcb的元器件字符检测方法、系统、设备及介质。

背景技术：

1、工业领域质量检测，是计算机视觉最有挑战性的一项任务，也是工业检测领域中不可或缺的一部分。

2、目前，印制电路板（pcb）属于工业质量检测领域中较为重要的实际应用场景；具体地，pcb表面贴装元器件种类多样，常用的元器件有电阻、电容、集成电路（ic）、二极管、三极管等；pcb上不同元器件的颜色，尺寸等外观也存在着巨大差异；因此在pcb生产过程中，需要通过对其表面的字符及其位置的判定进行贴偏、贴错、贴反等缺陷的质量检测，目前主要使用人工质检和传统机器视觉算法相结合的方法进行字符的识别与检测。

3、对于人工质检，这种方法存在检测效率低，受人为因素干扰较大的问题；

4、对于传统机器视觉算法，这种方法对噪声数据过于敏感，尤其是当图片不清晰时，识别效果会非常差；此外，这种方法需要对不同类别的元器件设计不同的算法，由于元器件种类众多，导致开发周期长；另外该方法受光照、成像等外部影响严重，导致其适应性差，误检率高。

5、综上所述，对于pcb表面贴装元器件的现有检测方案，并不能满足较佳的检测效率及准确率要求。

技术实现思路

1、本发明的目的在于，提供一种用于pcb的元器件字符检测方法、系统、设备及介质，进而解决现有技术中存在的上述所有问题或问题之一。

2、为解决上述技术问题，本发明的具体技术方案如下：

3、一方面，本发明提供一种用于pcb的元器件字符检测方法，包括以下步骤：

4、电路板定位：

5、获取电路板图像；

6、调用模版匹配算法基于所述电路板图像进行电路板定位；

7、图像对齐：

8、基于所述电路板定位结果进行电路板图纸图像对齐；

9、图像裁剪：

10、响应于图像对齐后，基于电路板图纸获取字符标准位置；

11、基于所述字符标准位置和范围扩大化算法裁剪第一待识别图像；

12、字符定位：

13、调用基于多尺度特征提取的字符定位算法对所述第一待识别图像进行字符定位处理，得到字符位置信息；根据所述字符标准位置和所述字符位置信息进行字符偏移判定；

14、字符方向判断：

15、基于所述字符位置信息和所述第一待识别图像裁剪关于实际字符的第二待识别图像；调用基于注意力机制的字符方向判定算法检测所述第二待识别图像中的字符方向情况；根据所述字符方向情况进行元件贴装错误判定；

16、字符识别：

17、调用基于注意力机制的字符识别算法识别所述第二待识别图像中的字符内容；根据所述字符内容进行元件贴装正确性判定。

18、作为一种改进的方案，所述字符定位算法，包括：

19、提取所述第一待识别图像的通用性特征；

20、基于卷积层和所述通用性特征提取所述第一待识别图像的多尺度语义特征，并对所述多尺度语义特征进行特征融合，得到所述字符位置信息；

21、根据所述字符位置信息与所述字符标准位置之间的偏移值和容差值判断字符的偏移情况。

22、作为一种改进的方案，所述字符方向判定算法，包括：

23、采用两个注意力特征提取模块提取所述第二待识别图像的字符特征，提取所述字符特征时，基于注意力机制进行正反类似字符的特征关注度分配；

24、采用全连接层和softmax对所述注意力特征提取模块提取的输出结果进行分类处理，得到所述字符方向情况；

25、根据所述字符方向情况和所述电路板图纸中对应字符的标准方向判断元件贴装方向是否错误。

26、作为一种改进的方案，所述字符识别算法，包括：

27、采用轻量模型mobilenet提取image3中的基础视觉信息；

28、根据所述基础视觉信息，采用注意力机制减弱非文本区域的特征关注度，基于特征序列化操作进行第一文本特征提取；

29、根据所述基础视觉信息，采用注意力机制进行基于字符结构关系的第二文本特征提取；

30、采用全连接层和softmax对所述第一文本特征和所述第二文本特征进行处理，得到字符id；

31、基于存储有id与字符映射关系的字典中查询与所述字符id对应的字符信息作为所述字符内容；

32、根据所述字符内容判断元件是否贴装错误。

33、作为一种改进的方案，所述电路板定位步骤，进一步包括：

34、捕捉所述电路板图像；

35、采用模板匹配算法对所述电路板图像进行基于mark点的定位操作。

36、作为一种改进的方案，所述图像对齐步骤，进一步包括：

37、根据所述电路板定位结果计算变换矩阵；

38、根据所述变换矩阵对所述电路板图纸进行仿射变换或透视变换；

39、基于所述仿射变换或所述透视变换将所述电路板图纸与所述电路板图像对齐。

40、作为一种改进的方案，所述图像裁剪步骤，进一步包括：

41、根据所述电路板图纸在所述电路板图像中确定存在字符的元器件所对应的位置信息作为所述字符标准位置；

42、保持所述字符标准位置的中心点坐标不变，增大宽度范围和高度范围，得到对于所述字符标准位置的扩大范围位置；

43、将所述扩大范围位置的对应图像从所述电路板图像中裁剪出，作为所述第一待识别图像。

44、另一方面，本发明还提供一种用于pcb的元器件字符检测系统，包括：

45、电路板定位模块，用于：获取电路板图像；调用模版匹配算法基于所述电路板图像进行电路板定位；

46、图像对齐模块，用于：基于所述电路板定位结果进行电路板图纸图像对齐；

47、图像裁剪模块，用于：响应于图像对齐后，基于电路板图纸获取字符标准位置；基于所述字符标准位置和范围扩大化算法裁剪第一待识别图像；

48、字符定位模块，用于：调用基于多尺度特征提取的字符定位算法对所述第一待识别图像进行字符定位处理，得到字符位置信息；根据所述字符标准位置和所述字符位置信息进行字符偏移判定；

49、字符方向判断模块，用于：基于所述字符位置信息和所述第一待识别图像裁剪关于实际字符的第二待识别图像；调用基于注意力机制的字符方向判定算法检测所述第二待识别图像中的字符方向情况；根据所述字符方向情况进行元件贴装错误判定；

50、字符识别模块，用于：调用基于注意力机制的字符识别算法识别所述第二待识别图像中的字符内容；根据所述字符内容进行元件贴装正确性判定。

51、另一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述用于pcb的元器件字符检测方法的步骤。

52、另一方面，本发明还提供一种计算机设备，所述计算机设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；其中：

53、所述存储器，用于存放计算机程序；

54、所述处理器，用于通过运行所述存储器上所存放的程序来执行所述用于pcb的元器件字符检测方法的步骤。

55、本发明技术方案的有益效果是：

56、1.本发明所述的用于pcb的元器件字符检测方法，可以实现对pcb上的贴装元件字符进行高精度的定位、方向判断以及字符识别，支持多种尺寸的元件字符检测，适用范围广，无需人工干预，能够完成自动化检测，提升了算法整体的鲁棒性，降低了误检率，提升了检测精度，弥补了现有技术的缺陷，具有较高的应用价值。

57、2.本发明所述的用于pcb的元器件字符检测系统，可以通过系统模块的相互配合，进而实现对pcb上的贴装元件字符进行高精度的定位、方向判断以及字符识别，支持多种尺寸的元件字符检测，适用范围广，无需人工干预，能够完成自动化检测，提升了算法整体的鲁棒性，降低了误检率，提升了检测精度，弥补了现有技术的缺陷，具有较高的应用价值。

58、3.本发明所述的计算机可读存储介质，可以实现引导系统模块进行配合，进而实现本发明所述的用于pcb的元器件字符检测方法，且本发明所述的计算机可读存储介质还有效提高所述用于pcb的元器件字符检测方法的可操作性。

59、4.本发明所述的计算机设备，可以实现存储并执行所述计算机可读存储介质，进而实现本发明所述的用于pcb的元器件字符检测方法。