基于改进FasterRCNN的工业产品缺陷检测方法

本发明属于计算机视觉，涉及一种基于改进fasterrcnn的工业产品缺陷检测方法。

背景技术：

1、在工业生产过程中，由于生产技术等问题会不可避免的导致部分工业零件存在一些微小的表面缺陷。所以在工业零件缺陷检测中，需要使用精确的目标检测技术来定位小的有缺陷的工业零件。但是现有的检测技术受限于人工检测十分费力；传统的机器识别算法也需要借助人工的方式来进行图像的处理，在实际的生产过程中往往很难达到机器视觉缺陷检测系统的预期结果，使得无论是检测的精度还是速度都无法得到保证。

2、目前基于有监督的缺陷检测网络有：双阶段的rcnn系列检测算法，单阶段的yolo系列检测算法，虽然比起rcnn系列检测算法，yolo系列的检测算法效率更高速度更快，但其局限性在于检测较小目标时，由于yolo的单个网格单元可以同时对相同类型的两个边界框进行回归但是其局限性在于检测小目标时精确度不高，并且在工业产品的实际制造过程中，有缺陷的种类也很多，缺陷形成的可预见性差无规则。所以yolo的检测精度会低于rcnn系列。本发明将采用改进的fasterrcnn算法进行工业产品的检测，通过对fasterrcnn算法的backbone模块主干网络进行过改进，同时对backbone模块的fpn进行改进变成多信息特征融合金字塔网络(mfpn)，并在backbone模块中加入混合注意力机制sa-net模块，提高模型的特征提取能力，以达到在复杂背景下提升检测精度和速度，并同时能兼顾大目标、中目标和小目标检测的目的。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于改进fasterrcnn的工业产品缺陷检测方法。该方法基于原始fasterrcnn通过改进resnet18网络和加入sa-net模块后可适应大目标、中目标和小目标，实现缺陷的分类、检测和分割，通过对backbone模块进行改进提高了检测的效率和速度。

2、为达到上述目的，本发明提供如下技术方案：

3、一种基于改进fasterrcnn的工业产品缺陷检测方法技术方案：

4、(1)以改进的残差网络resnet18和改进的特征融合金字塔网络(fpn)为主干网络，残差网络resnet18包含4个卷积模块，在改进的残差网络resnet18中卷积模块替换为bs-star模块，bs-star模块使用3×3小卷积代替原有的7×7大卷积，因为使用7×7大卷积参数量很大，还会破坏原始图像的信息和细节纹理，导致网络后续学习的性能较差。bs-star模块小卷积替代7×7大卷积，以减少信息的损失和参数量减少信息的损失；

5、(2)根据权利要求1所述的基于改进faster rcnn的工业产品缺陷检测方法，其特征在于：所述bs-star模块包含一个3×3卷积层通过归一化层，加入深度卷积融合star模块，star模块表示为：

6、

7、其中，w1为输出通道的变换矩阵，w2为输出通道的单元素输入矩阵，x表示输入的特征向量，w1，为特征空间的维度，d为输入通道数，t为矩阵的转置操作，为w1，w2里的元素，为输入特征向量x中的元素。

8、(3)根据权利要求1所述的基于改进faster rcnn的工业产品缺陷检测方法，其特征在于：所述改进的特征融合金字塔网络mfpn采用双向结构，resnet18的网络结构可以分为四个阶段，每个阶段由不同的残差块组成，第一阶段，输入图像经过一个3×3的卷积层和3×3的最大池化层，尺寸从112×112降低到56×56，通道数从3增加到64得到的特征图为c4，第二阶段，通过bs-star模块，使用步长为2的卷积进行下采样，将图像尺寸从56x56降低到28x28，通道数从64增加到128得到的特征图为c3，第三阶段，再通过bs-star模块，同样再次使用步长为2的卷积进行下采样，将图像尺寸从28x28降低到14x14，通道数从128增加到256得到的特征图为c2，第四阶段，最后通过bs-star模块，使用步长为2的卷积进行下采样，将图像尺寸从14x14降低到7x7，通道数从256增加到512得到的特征图为c1。mfpn网络自顶向下和横向连接的特征图融合后分别为p1、p2、p3、p4，并在c4、p3、p2和p1之间加入轻量级上采样模块dysample，实现多尺度特征的融合。

9、(4)根据权利要求1所述的基于改进faster rcnn的工业产品缺陷检测方法，其特征在于：所述混合注意力机制sa-net模块结合特征通道和特征空间两个维度的注意力机制，通道注意力机制是在图像特征通道尺度上施加注意力权重，空间注意力机制是在图像特征空间尺度上施加注意力权重，混合注意力机制sa-net模块结合特征通道和特征空间两个维度；

10、sa模块分为三个部分：特征分组、混合注意力和特征聚合，将输入特征图分为多组，特征图表示为x＝[x1,...,xg],为特征空间的维度，g为分组数，k为特征图的索引，xg为特征图的分组数，xk为特征图的分组，c为通道数，h为高度，w为宽度，c/g×h×w为特征图xk的维度

11、sa-net模块采用单层变换公式如下：

12、

13、

14、x′k2＝σ(w2·gn(xk2)+b2)·xk2

15、其中，s为全局特征平均池化后的向量，为平均池化特征图xk1，xk1为输入的特征图，xk1(i,j)为xk1中位置为(i，j)的元素，σ是sigmoid激活函数，为全局特征s向量的线性变换，为通过sigmoid函数将全局特征s向量转换为注意力权重，x′k1、x′k2为xk1的子特征图，h×w为特征图的空间维度，gn(xk2)是对x′k2归一化，w1、w2为x′k1、x′k2的权重矩阵，b1、b2为w1、w2的偏项矩阵；

16、图像通过prn(region proposal network，区域建议网络)模块、roipooling(region of interest pooling，兴趣池化域)模块再通过分类和回归后输出，roipooling的回归损失采用smooth l1损失函数，smooth l1损失函数的数学定义如下：

17、

18、其中，x是预测值，y是目标值，当预测值与目标值的差异的绝对值小于1时，损失函数表现为平方项。

19、(5)根据权利要求1所述的基于改进faster rcnn的工业产品缺陷检测方法，其特征在于：所述resnet18网络第一阶段产生的低分辨率特征图c4采用的上采样方式是pixelshuffle，在低分辨率时采用pixel shuffle上采样不损失细节信息，信息总量保持不变；

20、resnet18网络产生不同分辨率的特征图c1、c2、c3采用的上采样方式是双线性插值，双线性插值只用到神经元s周围四个具有整数坐标的邻居神经元，它们通常是神经元s左上角、右上角、左下角和右下角的神经元来计算f(s)，f(s)表示这四个特定位置的特征值，假设这四个神经元的位置坐标分别为(x0，y0)，(x1，y0))，(x0，y1)，和(x1，y1)，并且它们的值分别为f(x0，y0)，f(x1，y0)，f(x0，y1)，和f(x1，y1)，对于s(x，y)位置的神经元s，使用双线性插值法计算其值f(s)的具体公式如下：

21、f(s)＝(1-v)·r1+v·r2

22、r1＝(1-u)·f(x0，y0)+u·f(x1，y0)

23、r2＝(1-u)·f(x0，y1)+u·f(x1，y1)

24、u＝x-x0

25、v＝y-y0

26、其中，u和v是神经元s相对于(x0，y0)的水平和垂直距离的比例。

27、(6)根据权利要求1所述的基于改进faster rcnn的工业产品缺陷检测方法，其特征在于：所述改进faster rcnn的损失函数为：

28、lloss＝lrcls+lrbbox+lcls+lbbox+lsenet

29、其中，lrcls为区域建议网络的分类损失，lrbbox为区域建议网络的边界框回归损失，lcls为整个网络的分类损失，lbbox为整个网络的边界框回归损失，lsenet为sa-net模块特征提取的损失；

30、

31、其中，α为衡量正负样本的权重系数，γ为调节简单样本和困难样本之间权重系数，m为类别参数正样本为1，负样本为0，k为类别数，p为目标属于某个类别的概率，

32、

33、其中，为矩形框的中心坐标，分别为矩形框的宽和高，smooth l1为roipooling的回归损失函数，为真实框的回归参数；为预测框的回归参数。c是类别数量，是一个指示变量，如果类别c是样本i的正确类别，则为1，否则为0；是模型预测样本i为类别c的概率；

34、本发明的有益效果在于：

35、(1)本发明的目的就是提供一种基于改进faster rcnn的工业产品缺陷检测方法，该方法解决了使用传统视觉方法在工业产品缺陷检测下，对于纹理背景较为复杂的缺陷和小目标缺陷的检测任务。还克服了很难同时兼顾大目标、中目标和小目标的检测精度的问题。同时也对网络进行了改进，使得网络能够更在图像特征之间有自注意力机制加权，增加对图像特征提取能力和加强图像之间互相的联系。

36、(2)本发明采用改进的faster rcnn作为检测的主体算法，将改良的resnet18+mfpn作为骨干网络，对resnet18输出的4层特征图与改进的特征金字塔网络(mfpn)进行融合，改进后的mfpn摒弃原始的一一对应原则的特征图相融，而采用一个特征图与对应fpn的4个特征图都相融，可实现多尺度特征图的提取。

37、(3)本发明通过加入混合注意力机制sa-net模块，sa-net模块能够充分结合特征通道和特征空间两个维度的注意力机制，通道注意力机制是在图像特征通道尺度上施加注意力权重，使得模型关注有意义的特征；空间注意力机制是在图像特征空间尺度上施加注意力权重，使得模型关注特征在空间中具体的位置；混合注意力机制sa-net模块则能够充分结合特征通道和特征空间两个维度的注意力机制，对图像特征进行全面解析从而使模型精准关注图像中的目标特征。以更好地解析融合后的图像特征，从而在区域建议网络中生成更加准确的预选框。

38、(4)本发明通过加入bs-star模块通过星操作在保持计算复杂度较低的同时，实现了高维特征空间的映射。这解决了传统高效网络设计中计算复杂度与性能之间的权衡问题在目标检测任务中，特别是对于小目标和复杂场景，丰富的特征表示能够显著提升检测效果，使得rcnn系列网络在这些场景中表现更佳，通过星操作提供了一种简化网络设计的方法，无需复杂的特征融合和多分支设计就能实现高效的特征表示。

39、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。