一种应用于边缘计算设备的指针类表针识别方法及系统与流程

本发明涉及边缘计算设备上的图像识别应用，具体为一种应用于边缘计算设备的指针类表针识别方法及系统。

背景技术：

1、近年来，随着深度学习的应用越来越广泛，将深度学习算法落地到实际场景，提升生产效率称为当前研究的热点。而无人机巡检成本低、周期短、机动性强且安全性高，逐渐开始取代人工巡检。无人机航拍采集大量输电线路上的图像，通过深度学习方法感知图像信息，理解分析场景并做出相应判断的图像处理系统来自动化检测图像中的输电线路关键部位缺陷。

2、目前通常将深度学习算法集中部署在云端，这不仅对通信网络的传输速度要求高，同时也不利于变电站无人化表计巡视过程的集成更多的摄像头设备，基于此，通过在无人机底部部署边缘计算设备以在输电线路上起着关键作用的部件的缺陷检测，相对云端部署深度学习算法而言，不仅能够提高边缘计算分散算力，还能够有效提升巡视效率。

3、在实际应用中，由于深度模型网络越来越深、模型复杂度越来越高，导致模型的体积过大和推理速度较慢等问题，阻碍了将指针类识别模型部署及计算能力受限的边缘计算设备，进而导致一些现场实时巡检工作难以开展。

技术实现思路

1、鉴于上述存在的问题，提出了本发明。

2、因此，本发明解决的技术问题是：现有的边缘计算设备上的图像识别方法存在资源开销高，模型精度低，巡视效率低，以及模型的体积过大和推理速度较慢的问题。

3、为解决上述技术问题，本发明提供如下技术方案：一种应用于边缘计算设备的指针类表针识别方法，包括指针类表计识别方法应用于边缘计算设备，所述边缘计算设备搭建于无人机底部，并与搭建于无人机上的摄像头以及远程监控中心通信连接，所述指针类表计识别方法包括：

4、获取摄像头拍摄的输电线路图像，并对拍摄的输电线路图像进行预处理，输出预处理后的图像数据；

5、将图像数据输入到已训练的指针类表计识别模型中，输出指针识别结果；

6、其中，所述指针类表计识别模型是在保障模型精度达到设定精度要求的情况下，利用目标协同剪枝策略对目标检测模型进行最大限度地裁剪冗余参数后通过对模型参数进行微调训练输出的边缘计算的识别模型，所述目标检测模型是对已训练的轻量级检测模型进行稀疏训练后输出的模型；

7、将识别的指针识别结果发送至所述远程监控中心。

8、作为本发明所述的应用于边缘计算设备的指针类表针识别方法的一种优选方案，其中：所述指针类表计识别模型的训练过程包括如下步骤：

9、将历史数电线路图像作为训练样本，并对训练样本做图像预处理；

10、对训练样本进行样本标注；

11、将已训练的目标检测模型yolov5确定为基准模型，采用预设特征图信息评估剪枝策略对所述基准模型按照裁剪不需要训练的剪枝方式进行剪枝操作，输出瘦身后的初始紧凑模型；

12、将训练样本输入到初始紧凑模型中，输出用于识别训练样本的表类识别结果；

13、若输出的表类识别结果与训练样本对应的样本标注一致，则确定本次训练合格；

14、若输出的表类识别结果与训练样本对应的样本标注不一致，对初始紧凑模型进行模型调参，输出另一个初始紧凑模型，并返回执行所述将训练样本输入到初始紧凑模型中；

15、根据统计训练合格数量，确定训练后的初始紧凑模型是否达到模型精度要求，若达到，则将最终训练后的初始紧凑模型作为指针类表计识别模型，若未达到，则返回执行对初始紧凑模型进行模型调参。

16、作为本发明所述的应用于边缘计算设备的指针类表针识别方法的一种优选方案，其中：所述返回执行所述将训练样本输入到初始紧凑模型中的步骤之后，还包括：

17、同步对初始紧凑模型中与深度神经网络调整的相同模型参数进行调整；

18、确定训练后的初始紧凑模型是否达到模型精度要求，若未达到，还包括:

19、返回执行对深度神经网络进行模型调参的步骤；

20、在训练过程中，并同时将训练样本输入到已训练好的初始紧凑模型中，输出用于识别训练样本的表类识别结果，并记录合格数量，若初始紧凑模型的模型精度与深度神经网络的模型精度一致，则将最终训练后的初始紧凑模型确定为指针类表计识别模型。

21、作为本发明所述的应用于边缘计算设备的指针类表针识别方法的一种优选方案，其中：所述返回执行所述将训练样本输入到初始紧凑模型中的步骤之后，还包括：

22、在确定启动验证指针类表计识别模型的模型精度的情况下，从设定存放用于验证模型精度的数据库中获取用于验证模型精度的输电线路验证图像，并对输电线路验证图像进行预处理，输出预处理后的图像验证数据；

23、将所述图像验证数据输入到已训练的指针类表计识别模型中，输出指针识别结果；

24、对比指针识别结果与输电线路验证图像对应的标注信息是否一致，若一致，则确定指针类表计识别模型合格，向远程监控中心发送表示模型精度合格的合格信息，以使远程监控中心记录合格信息相关的验证记录；

25、若不一致，则向远程监控系统发送表示指针类表计识别模型不一致的故障信息，以使所述远程监控中心收到故障信息之后，向边缘计算盒子发送表示重新验证指针类表计识别模型的重复验证指令；

26、在收到所述重复验证指令后，从设定存放用于验证模型精度的数据库中获取预设数量且与用于验证模型精度的输电线路验证图像不同的输电线路验证图像，并返回执行对输电线路验证图像进行预处理的步骤；

27、在验证结束后，若预设数量个输电线路验证图像对应的指针识别结果的合格率达到阈值，则确定指针类表计识别模型合格，并向远程监控中心发送表示重复验证后合格的合格信息，若预设数量个输电线路验证图像对应的指针识别结果的合格率未达到阈值，则确定指针类表计识别模型不合格，并向远程监控中心发送表示重复验证后不合格的合格信息，则远控监控中心向边缘计算盒子发出停止检测的关闭检测指令，并向无人机发送返回指令。

28、作为本发明所述的应用于边缘计算设备的指针类表针识别方法的一种优选方案，其中：所述将图像数据输入到已训练的指针类表计识别模型输出指针识别结果包括基于焦点和全局蒸馏方法对模型参数进行微调，定义θs为学生模型的参数，θt为教师模型的参数，为输入数据集合，为标签集合，学生模型的输出为os，教师模型的输出为ot，其中，d是输入数据的维度，c是输出类别的数量；

29、微调过程目标函数ltotal表示为：

30、

31、其中，ltotal(θs)表示整个微调过程的目标函数，用于优化学生模型参数θs，α表示平衡因子，用于调整损失函数中教师-学生输出一致性项和交叉熵损失项的贡献比例，lce表示交叉熵损失，衡量学生模型输出os(x；θs)与真实标签y之间的差异，os(x；θs)表示给定输入x和参数θs下，学生模型的输出，ot(x；θt)表示给定输入x和参数θt下，教师模型的输出，表示针对第c个类别，基于输出概率分布差异的加权平方欧几里得距离，输出学生模型和教师模型输出的概率分布之间的差异。

32、作为本发明所述的应用于边缘计算设备的指针类表针识别方法的一种优选方案，其中：所述将图像数据输入到已训练的指针类表计识别模型输出指针识别结果包括针对第c个类别，基于输出概率分布差异的加权平方欧几里得距离，τ是温度参数，用于调整概率分布的平滑程度，γ(x,θt)是一个动态调整因子，基于教师模型在输入x上的信心水平动态调整各个类别之间的权重，表示为：

33、

34、其中，γ(x,θt)表示动态调整因子，根据教师模型在输入x上的信心水平对每个类别预测的确定性动态调整各个类别之间的学习权重，x表示输入数据，y表示输入数据x对应的真实标签，c表示类别总数。

35、作为本发明所述的应用于边缘计算设备的指针类表针识别方法的一种优选方案，其中：所述根据比对预设数据库中的验证图像进行模型调整训练包括设表示经过微调后的学生模型，其中θs是模型参数，设表示教师模型，其中θt是模型参数，表示实时获取的第n个图像数据，表示用于验证的数据集合；

36、对于每个实时图像我们定义模型的预测准确度评估函数为：

37、

38、其中，表示模型预测准确度的评估函数，|c|表示类别的总数，表示指示函数，argmax(·)表示选取向量中最大元素的索引；

39、将模型在验证集上的表现聚合起来，引入基于多维度反馈的综合性能评估指标结合动态调整模型参数的策略，表示为：

40、

41、其中，β是用于平衡预测一致性和准确率的权重因子，lce是交叉摘损失函数，表示基于学生模型参数θs和验证集的综合性能评估指标，β表示平衡预测一致性和准确率的权重因子，表示验证集中第i个图像数据，表示验证集中第i个图像数据对应的真实标签；

42、基于的值，动态调整函数表示为：

43、

44、其中，表示性能阈值，表示是否需要对模型进行进一步的微调或重训练，表示根据综合性能评估指标q调整后的新学生模型参数集合，表示根据学生模型在验证集上的表现，决定是否需要对模型进行微调或重训练的函数。

45、本发明的另外一个目的是提供一种应用于边缘计算设备的指针类表针识别系统，其能通过使用剪枝策略，解决了目前的边缘计算设备上的图像识别方法含有的在资源有限的情况下无法高效运行的问题。

46、作为本发明所述的应用于边缘计算设备的指针类表针识别系统的一种优选方案，其中：包括初始化模块，指针识别输出模块，指针识别结果发送模块；所述初始化模块用于采集输电线路图像；所述指针识别输出模块用于通过指针类表计识别模型输出指针识别结果；所述指针识别结果发送模块用于验证指令信息后发送至远程监控中心。

47、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序是实现应用于边缘计算设备的指针类表针识别方法的步骤。

48、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现应用于边缘计算设备的指针类表针识别方法的步骤。

49、本发明的有益效果：本发明提供的应用于边缘计算设备的指针类表计识别方法是通过该指针类表计识别模型进行指针识别的，该指针类识别模型是在保障模型精度达到设定精度要求的情况下，利用目标协同剪枝策略对目标检测模型进行最大限度地裁剪冗余参数后通过对模型参数进行微调训练生成的适合边缘计算的识别模型，所述目标检测模型是对已训练的轻量级检测模型进行稀疏训练后获得的模型；以在保证模型精度的基础上，降低自动指针类识别模型的资源开销，本发明在资源开销、模型精度以及推理速度方面都取得更加良好的效果。