基于机器视觉的螺丝瑕疵检测及上料控制方法及系统与流程

本发明涉及机器视觉技术，尤其涉及基于机器视觉的螺丝瑕疵检测及上料控制方法及系统。

背景技术：

1、螺丝是各种机械设备和电子产品中常用的紧固件，其质量直接影响产品的性能和可靠性。传统的螺丝瑕疵检测主要依赖人工目视检查，存在效率低、易疲劳、判断标准不一致等问题。随着工业自动化和智能制造的发展，基于机器视觉的螺丝瑕疵检测技术逐渐兴起。然而，现有的机器视觉检测系统在处理不同规格、材质的螺丝时存在适应性不足、误检率高等问题，且与上料控制的集成度不高，难以满足高效率、高精度生产的需求。

技术实现思路

1、本发明实施例提供基于机器视觉的螺丝瑕疵检测及上料控制方法及系统，能够解决现有技术中的问题。

2、本发明实施例的第一方面，

3、提供基于机器视觉的螺丝瑕疵检测及上料控制方法，包括：

4、通过机器视觉系统获取螺丝的多角度图像，将多角度图像输入预先训练的多模态深度学习模型，识别螺丝表面的瑕疵类型和位置，同时提取螺丝的几何尺寸信息，所述机器视觉系统包括高分辨率工业相机、光源系统和3d传感器；所述多模态深度学习模型集成了卷积神经网络和循环神经网络；根据识别出的瑕疵类型、位置以及几何尺寸信息，结合预设的质量标准，对螺丝质量进行评估，得出螺丝的品质等级；基于所述品质等级，控制分拣机构将合格螺丝和不合格螺丝分别输送至对应的储存区域；

5、使用机械臂将合格螺丝抓取并放置到上料传送带上，在螺丝输送过程中，使用高速摄像系统对螺丝姿态进行动态跟踪，结合卡尔曼滤波算法预测螺丝的运动轨迹，记录每个螺丝的实时位置和姿态信息；基于螺丝的实时位置和姿态信息，采用自适应路径规划算法控制机器人将螺丝精确放置到装配位置，同时考虑避障和能耗优化；在螺丝装配过程中，根据螺丝的材质、尺寸和装配表面特性，采用自适应控制策略动态调整机器人的力控参数和运动轨迹；通过机器视觉系统和姿态估计算法实时评估螺丝姿态，如检测到螺丝姿态异常，则触发自动纠正机制；

6、通过边缘计算设备对检测和上料过程中产生的数据进行实时处理和分析，利用增量学习算法持续优化所述多模态深度学习模型，形成闭环控制。

7、在一种可选的实施例中，

8、所述多模态深度学习模型集成了卷积神经网络和循环神经网络的步骤包括：

9、构建包含卷积神经网络分支和循环神经网络分支的多模态深度学习模型，所述卷积神经网络分支采用resnet-50网络结构，所述循环神经网络分支采用双向长短期记忆网络；

10、使用所述卷积神经网络分支对每个角度的螺丝图像进行处理，提取空间特征；将所述空间特征按照拍摄顺序排列，构成时间序列；

11、使用所述循环神经网络分支对构成的时间序列进行处理，捕捉不同角度之间的依赖关系，提取时序特征；

12、设计自适应特征融合模块融合空间特征和时序特征，包括使用一维卷积调整所述卷积神经网络分支和所述循环神经网络分支输出特征的通道数，将调整后的特征在通道维度上拼接，并应用squeeze-and-excitation模块学习通道间的依赖关系；

13、构建时空注意力机制，其中空间注意力使用一维卷积和softmax操作计算二维特征图上每个位置的注意力权重，时间注意力使用全连接层和softmax操作计算不同时间步的注意力权重；

14、将所述时空注意力机制得到的注意力权重应用于融合后的空间特征和时序特征，得到加权特征。

15、在一种可选的实施例中，

16、所述方法还包括优化和训练多模态深度学习模型：

17、基于加权特征构建特征金字塔网络，生成多尺度特征图；基于所述多尺度特征图设计多任务学习头，包括用于瑕疵检测的分支和用于尺寸测量的分支，其中瑕疵检测分支包括区域提议网络、roi align模块以及分类和回归头，尺寸测量分支包括全局平均池化层和全连接层；

18、设计多任务联合损失函数，包括瑕疵分类的交叉熵损失、边界框回归的平滑l1损失、尺寸回归的均方误差损失和l2正则化项，并引入可学习的不确定性参数，对多任务损失的权重进行动态调整；

19、采用分阶段训练策略对所述多模态深度学习模型进行训练，包括冻结卷积神经网络主干仅训练循环神经网络和多任务学习头，解冻卷积神经网络高层进行微调，以及解冻所有层进行端到端微调；在训练过程中应用余弦退火学习率策略，并使用正则化方法防止过拟合。

20、在一种可选的实施例中，

21、基于螺丝的实时位置和姿态信息，采用自适应路径规划算法控制机器人将螺丝精确放置到装配位置，同时考虑避障和能耗优化的步骤包括：

22、自适应路径规划算法采用基于人工势场法和改进的快速扩展随机树算法的混合算法；

23、实施多层次避障策略，包括：使用占据栅格地图和膨胀算法处理静态障碍物；利用卡尔曼滤波器预测动态障碍物的未来运动轨迹；引入速度障碍物概念处理多机器人协同作业场景；

24、进行能耗优化，包括：使用三次样条插值对生成的路径进行平滑；求解满足机器人动力学约束条件下的时间最优轨迹规划问题，将其转化为二次规划问题；建立考虑铜损、铁损和机械损耗的机器人关节电机能耗模型；

25、构建多目标优化函数，包括时间、能耗和精度三个子目标，其中时间子目标基于时间最优轨迹规划的结果，能耗子目标基于机器人关节电机能耗模型计算得出，精度子目标考虑螺丝的实时位置和姿态信息与目标放置位置的偏差；

26、求解多目标优化函数，根据多目标优化的结果，结合自适应路径规划算法和多层次避障策略，生成机器人的螺丝放置指令；

27、在放置过程中，持续获取螺丝的实时位置和姿态信息，动态调整路径规划和避障策略，实现自适应控制。

28、在一种可选的实施例中，

29、自适应路径规划算法采用基于人工势场法和改进的快速扩展随机树算法的混合算法的步骤包括：

30、使用改进的快速扩展随机树算法生成全局路径，包括自适应采样、启发式偏置和动态重写，其中自适应采样根据环境复杂度动态调整采样密度，启发式偏置引入目标导向的采样策略加速向目标扩展，动态重写周期性重新评估和优化已生成的路径；

31、基于全局路径，使用具有自适应势场函数的人工势场法进行局部路径优化，所述自适应势场函数包括吸引势场项和排斥势场项，吸引势场引导机器人朝目标位置移动，排斥势场使机器人远离障碍物；在所述自适应势场函数中引入随机扰动项，随机扰动项的幅度随时间呈指数衰减；

32、采用滚动时域的局部规划策略应对动态环境，在每个控制周期内执行局部环境地图更新、局部路径优化和全局路径偏离检查；当检测到局部路径与全局路径偏离超过预设阈值时，触发改进的快速扩展随机树算法重新进行全局路径规划；

33、将优化后的局部路径与全局路径进行平滑拼接，生成完整的运动轨迹。

34、在一种可选的实施例中，

35、在螺丝装配过程中，根据螺丝的材质、尺寸和装配表面特性，采用自适应控制策略动态调整机器人的力控参数和运动轨迹的步骤包括：

36、建立综合力控模型，包括考虑螺纹几何形状和材质特性的螺纹接触力模型、基于螺丝材质和尺寸特性的轴向预紧力模型以及采用hertz接触理论的装配表面特性模型；

37、基于所述综合力控模型，采用递归最小二乘法实时估计摩擦系数和预紧系数；

38、基于摩擦系数和预紧系数，设计模糊自适应控制器，使用mamdani推理方法和重心法解模糊，动态调整力控参数；引入基于策略梯度的强化学习算法，优化力控参数；

39、使用b样条曲线参数化机器人的运动轨迹，采用改进的差分进化算法优化运动轨迹，所述改进包括自适应变异策略、局部搜索增强和并行计算加速；

40、基于实时力反馈，使用迭代学习控制方法对优化后的运动轨迹进行在线微调；

41、将优化后的力控参数和运动轨迹应用于机器人控制系统，执行螺丝装配任务；

42、在螺丝装配过程中，持续获取力反馈信息，更新综合力控模型参数，并触发力控参数和运动轨迹的实时优化。

43、在一种可选的实施例中，

44、通过机器视觉系统和姿态估计算法实时评估螺丝姿态，如检测到螺丝姿态异常，则触发自动纠正机制的步骤包括：

45、采用机器视觉系统获取螺丝图像，对获取的螺丝图像进行实时预处理，包括基于局部自适应阈值的图像分割、非局部均值去噪、基于retinex算法的照明不均匀性校正和亚像素级边缘检测；

46、基于预处理的螺丝图像，采用深度学习多任务网络进行螺丝姿态估计，所述深度学习多任务网络包括检测分支、分割分支和姿态分支；基于螺丝姿态估计，采用迭代最近点算法进行螺丝姿态细化，并最小化螺丝cad模型点云与实际螺丝点云之间的欧氏距离；

47、定义螺丝姿态异常的判断标准，包括位置偏差、角度偏差和螺纹朝向，通过贝叶斯优化自动调节判断阈值；

48、对比螺丝姿态细化结果与螺丝姿态异常的判断标准，当检测到螺丝姿态异常时，触发自动纠正机制，包括路径规划和柔顺控制；在纠正过程中，持续获取视觉反馈信息，实时更新姿态估计和纠正策略。

49、本发明实施例的第二方面，

50、提供基于机器视觉的螺丝瑕疵检测及上料控制系统，包括：

51、第一单元，用于通过机器视觉系统获取螺丝的多角度图像，将多角度图像输入预先训练的多模态深度学习模型，识别螺丝表面的瑕疵类型和位置，同时提取螺丝的几何尺寸信息，所述机器视觉系统包括高分辨率工业相机、光源系统和3d传感器；所述多模态深度学习模型集成了卷积神经网络和循环神经网络；根据识别出的瑕疵类型、位置以及几何尺寸信息，结合预设的质量标准，对螺丝质量进行评估，得出螺丝的品质等级；基于所述品质等级，控制分拣机构将合格螺丝和不合格螺丝分别输送至对应的储存区域；

52、第二单元，用于使用机械臂将合格螺丝抓取并放置到上料传送带上，在螺丝输送过程中，使用高速摄像系统对螺丝姿态进行动态跟踪，结合卡尔曼滤波算法预测螺丝的运动轨迹，记录每个螺丝的实时位置和姿态信息；基于螺丝的实时位置和姿态信息，采用自适应路径规划算法控制机器人将螺丝精确放置到装配位置，同时考虑避障和能耗优化；在螺丝装配过程中，根据螺丝的材质、尺寸和装配表面特性，采用自适应控制策略动态调整机器人的力控参数和运动轨迹；通过机器视觉系统和姿态估计算法实时评估螺丝姿态，如检测到螺丝姿态异常，则触发自动纠正机制；

53、第三单元，用于通过边缘计算设备对检测和上料过程中产生的数据进行实时处理和分析，利用增量学习算法持续优化所述多模态深度学习模型，形成闭环控制。

54、本发明实施例的第三方面，

55、提供一种电子设备，包括：

56、处理器；

57、用于存储处理器可执行指令的存储器；

58、其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。

59、本发明实施例的第四方面，

60、提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。

61、本文采用的多模态深度学习模型的设计具有以下有益效果：首先，通过集成卷积神经网络和循环神经网络，模型能够同时捕捉螺丝图像的空间特征和时序特征，提供更全面的特征表示。其次，自适应特征融合模块能够灵活地调整不同模态特征的重要性，提高特征融合的效果。再次，时空注意力机制使模型能够关注最相关的空间区域和时间步，提高特征的表达能力和模型的解释性。最后，这种设计充分利用了多角度螺丝图像的信息，有助于提高螺丝姿态估计和瑕疵检测的准确性，为工业质量控制提供了强有力的技术支持。

62、本文采用的自适应路径规划算法和多层次避障策略的结合提高了机器人在复杂动态环境中的导航能力，有效避免了与静态和动态障碍物的碰撞。其次，能耗优化和多目标优化的引入实现了时间效率、能源效率和放置精度的平衡，提高了系统的整体性能。再次，实时位置和姿态信息的获取以及动态调整机制增强了系统的鲁棒性和适应性，能够应对各种不确定因素。最后，该方案的综合性和自适应性使其能够广泛应用于各种复杂的工业装配场景，提高生产效率和产品质量。