一种变电站二维图纸的识别方法与流程

本发明涉及图像识别，尤其涉及一种变电站二维图纸的识别方法。

背景技术：

1、长久以来无论是机械、电气均以二维图纸来记录信息。随着二维图纸规模和复杂度的增加、拓扑关系的迭代更新，迫切需要对二维图纸实现自动化和智能化识别。

2、随着人工智能技术的发展，基于深度学习的目标检测成为现有常用的方法，但是变电站二维图纸中电气元件具有尺寸小、数量多、分布比较密集的特点，通用领域对图像处理的目标检测模型难以精准高效地识别出图纸中的元件。

3、而且，现有方法容易漏检二维图纸中的文本，导致识别结果缺失。

技术实现思路

1、鉴于上述的分析，本发明实施例旨在提供一种变电站二维图纸的识别方法，用以解决现有二维图纸识别准确性不高和内容缺失的问题。

2、本发明实施例提供了一种变电站二维图纸的识别方法，包括以下步骤：

3、对变电站二维图纸的图像预处理后，对图像中各接线图进行分割得到各子图像；通过对各子图像缩放至预置尺寸得到各待检测图像，通过对各子图像旋转并缩放至预置尺寸得到与待检测图像对应的辅助图像；

4、将各待检测图像及其对应的辅助图像依次传入元件检测模型，融合输出的两个检测结果得到各待检测图像中的元件框和元件类别；

5、根据元件框和元件类别截取元件框图像，识别元件框图像中的第一文本框和第一文本内容；分别覆盖第一文本框和元件框，得到每张待检测图像的两张文本检测图像，同时传入文本框检测模型得到元件框外部的第二文本框；从各待检测图像中截取第二文本框图像传入文本识别模型，识别出第二文本内容；

6、将第一文本框和第二文本框与元件框关联，获取变电站二维图纸中各元件对应的文本内容，作为识别结果。

7、基于上述方法的进一步改进，识别方法还包括：当元件检测模型输出的检测结果中无元件框时，标记输入的待检测图像为信息图像；识别信息图像中的第三文本框和第三文本内容；解析第三文本内容得到标号、元件类别、名称、型号和数量作为标准数据；基于标准数据校验识别结果得到校验结果。

8、基于上述方法的进一步改进，元件检测模型是通过训练改进的yolov5模型而得到；改进的yolov5模型依次包括输入层、主干层、通道注意力层、瓶颈层和预测层；输入层是单通道输入，主干层由focus模块、三组cbl+csp模块、cbl+空间金字塔池化模块串行搭建，将主干层中第二组cbl+csp模块、第三组cbl+csp模块和空间金字塔池化模块提取的特征图分别传给通道注意力层，分别对主干层提取的三个尺度的特征图进行压缩和激励后传入瓶颈层；瓶颈层由特征金字塔网络和路径聚合网络组成，对通道注意力机制输出的不同尺度的特征图进行融合；预测层根据瓶颈层输出的不同尺度的特征图分别预测出不同尺度的元件框。

9、基于上述方法的进一步改进，元件检测模型的训练样本包括根据历史接线图构建的原始样本以及通过旋转历史接线图得到的辅助样本；元件检测模型的损失函数是通过计算第一分类损失、置信度损失、定位损失和类间差异损失并加权求和而得到；第一分类损失、置信度损失和定位损失分别是通过计算各尺度对应的损失，再根据各尺度预测框的权重因子加权求和而得到；类间差异损失是通过计算原始样本与对应的辅助样本的预测框之间的差异而得到。

10、基于上述方法的进一步改进，类间差异损失通过以下公式计算得到：

11、，

12、其中，表示预测框数量，、和表示原始样本第个预测框的中心点坐标、尺寸宽度和尺寸高度，和表示辅助样本第个预测框的尺寸宽度和尺寸高度，表示辅助样本第个预测框的中心点坐标 经逆向旋转变换后得到的数值。

13、基于上述方法的进一步改进，融合输出的两个检测结果得到各待检测图像中的元件框和元件类别，包括：根据辅助图像与待检测图像之间的变换矩阵，变换辅助图像对应的第二检测结果中各元件框坐标得到第三检测结果；以元件框之间的误差最小且小于边界误差阈值为匹配条件，匹配第三检测结果和待检测图像对应的第一检测结果中的元件框，对每对匹配的元件框通过计算交并比得到最终的元件框，并取概率大的元件类别作为最终的元件类别。

14、基于上述方法的进一步改进，文本框检测模型是通过训练改进的faster r-cnn模型而得到；改进的faster r-cnn模型同时接收两张图像，采用两个resnet网络作为双分支特征提取网络分别对输入的两张图像提取特征得到双分支特征图，并增加特征金字塔网络对双分支特征图进行融合后再传给区域提议网络和区域识别网络；区域提议网络根据融合的特征图预测出候选区域后传给区域识别网络，区域识别网络先利用roi池化层从候选区域和融合的特征图中提取出候选区域的特征子图，再根据特征子图利用多个全连接层对候选区域进行类别预测和边界框回归，得到文本框的坐标。

15、基于上述方法的进一步改进，文本框检测模型的损失函数是通过计算第二分类损失、边界回归损失和双分支特征图差异并加权求和而得到，其中双分支特征图差异是通过计算双分支特征图的余弦距离而得到。

16、基于上述方法的进一步改进，文本识别模型是通过在cnn-lstm组合模型中引入多头自注意力机制而训练得到；文本识别模型的损失函数是通过以下公式计算注意力权重正则化损失和字符序列损失并加权求和而得到：

17、，

18、其中，表示输出的文本序列的最大长度，表示正则化系数，表示第头的注意力权重，表示注意力头的总数，表示取l2范数；表示第个字符预测为字符集中第个字符的概率，表示真实序列中第个字符标签的独热编码，表示字符序列损失的权重。

19、基于上述方法的进一步改进，第二文本内容包括标号和端号；将第一文本框和第二文本框与元件框关联，获取变电站二维图纸中各元件对应的文本内容，包括：第一文本框与其所在的元件框关联，第一文本内容作为对应元件的端号；计算元件框到每个第二文本框的中心点坐标之间的距离，将距离小于距离阈值的第二文本框与对应元件框关联，如果关联的第二文本框只有一个，则第二文本框中的第二文本内容是当前元件框中元件的标号；否则，识别多个第二文本框中的第二文本内容，当第二文本内容是纯数字时，是当前元件框中元件对应的端号；当第二文本内容中包含字符时，是当前元件框中元件对应的标号。

20、与现有技术相比，本发明至少可实现如下有益效果之一：

21、1、考虑到二维图纸中元件的放置方向会影响识别效果，对待检测图像通过旋转获取辅助图像，通过融合两种图像的检测结果提高了元件识别的准确性；考虑到元件内部中存在端号的情况，对元件内部和外部的文本采用不同的方式进行识别，确保了文本内容的完整性；考虑到部分元件与文本间隔近，通过分别覆盖元件框和元件框内部的文本来构建文本内容识别的图像同时进行识别，通过对两种图像特征的互补融合提升了文本识别的准确性。

22、2、充分挖掘二维图纸中的各部分信息，识别出二维图纸中的设计图纸信息和接线图元件信息，一方面完善了识别结果，另一方面从中提取出标准数据来校验识别结果，判断识别结果是否准确，或者接线图本身是否存在设计问题，提高了数据质量和工作效率。

23、3、在元件检测模型的损失函数中通过增加两种图像检测结果的差异来减少元件因放置方向不同带来的影响；通过在元件检测模型中引入通道注意力机制，帮助模型更好地关注重要信息，提高了模型的准确性；根据各接线图的轮廓面积所在范围对不同尺度的预测框赋予不同的权重因子，增强了模型的鲁棒性，提高了对不同尺度目标的检测性能。

24、4、文本框检测模型支持两种图像同时输入，利用特征金字塔网络融合两张图像的特征图，使模型利用互补的特征信息提高特征表达的丰富性，并在损失函数中减小两种特征图的差异，促使模型学习到更一致的特征表示，提高了模型的稳定性和泛化能力。

25、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。