基于改进YOLOv5s非结构化环境下的多目标害虫检测方法和系统

本发明涉及图像处理，具体涉及一种基于改进yolov5s非结构化环境下的多目标害虫检测方法和系统。

背景技术：

1、小麦、水稻和甘蔗等作为我国主产区众多的主要农作物，其虫害问题一直是农业生产中需要重点关注和解决的问题。过去，这类作物的害虫识别观测工作多是通过采用人工方式进行。在大规模的虫害识别过程中，由于害虫种类繁多、农田种植面积大，一方面，人工识别观测需要提前对技术人员进行技能培养；另一方面，依赖农业技术人员对害虫进行实地观察和劳动密集型的病虫害计数来预测虫害严重程度，存在费时费力、主观性强、易出错且预测滞后等问题，难以有效开展。害虫防治信息的延后导致了大规模无目的的施用农药，农药的过度施用也引发了人们对环境的担忧，这类情况强调了创新和环保技术解决方案的必要性，从而能够实时和准确地检测害虫。近年来，随着新型农业物联网设备的引入和机器视觉与深度学习在农业领域的快速发展，人工费时费力的难题得到了有效缓解。但少数的害虫检测则因害虫目标在图像中尺寸相对较小、自然环境复杂、新兴技术使用门槛过高等问题效果不佳，难以投入实际农业生产的工程应用中。

2、现代机器视觉技术不断进步，深度学习作为新兴手段，在害虫的图像识别、目标检测、实例分割等众多任务中表现卓越，成效显著。同时，在移动设备算力不断加强的驱动下，深度学习技术与硬件设备得到了有效结合，害虫监测任务有望进一步的拓宽应用场景并降低使用门槛，为机器视觉下的害虫检测、计数和工程应用提供了更多可能。因此，急需提供一种有效可行的害虫检测方法与应用。

3、上述问题是目前亟待解决的。

技术实现思路

1、针对现有问题，本发明设计了一种基于改进yolov5s非结构化环境下的多目标害虫检测方法和系统。目的在于提供一种有效可行的害虫检测方法与应用。

2、为了要克服现有技术的上述至少一个缺点，一方面，本发明实施例提供了一种基于改进yolov5s非结构化环境下的多目标害虫检测方法，所述方法包括：s1：采集被甘蔗蚜虫侵扰的作物图像，并对图像进行预处理作为第一目标数据集；s2：将所述第一目标数据集与优化标注后的agripest数据集进行随机选取并重新组合制作成第二目标数据集；s3：将所述第二目标数据集进行划分为训练集、验证集和测试集；s4：以yolov5s网络模型为基准模型构建改进的yolov5s网络模型作为多目标害虫检测网络模型，包括：去除yolov5s网络四个检测头中大检测头，通过ghostnet模块重构主干网络用于特征提取，引入bifpn模块至fpn部分进行特征融合，将颈部网络中的普通卷积模块替换为dwconv模块，输出特征被送入添加了cbam模块的检测器进行特征点判断；s5：将训练集输入至所述多目标害虫检测网络模型中进行模型训练；s6：基于训练结果改进多目标害虫检测网络模型参数得到训练后的多目标害虫检测网络模型；s7：将验证集输入至所述训练后的多目标害虫检测网络模型中进行模型评估；s8：将测试集输入至所述训练后的多目标害虫检测网络模型中得到多目标害虫检测结果。

3、进一步的，所述步骤s4中通过ghostnet模块重构主干网络用于特征提取包括：s41:使用步长为1的ghost bottleneck模块替换原yolov5s网络模型中的c3模块，使用步长为2的ghost bottleneck模块替换原yolov5s网络模型中的普通卷积conv，形成了ghostnet模块为主干的特征提取网络。

4、进一步的，所述ghost bottleneck模块中的卷积过程包括：s411：通过常规卷积得到本征特征图，用于提取输入数据的基本特征；s412：对每个通道的特征图应用线性变换产生ghost特征图，包括通过使用深度可分离卷积对每个通道进行深度卷积，生成ghost特征图；s413：将所述本征特征图和ghost特征图拼接起来，得到最终的输出特征图。

5、进一步的，所述步骤s4中引入bifpn模块至fpn部分进行特征融合包括：s42：删除特征金字塔网络，用于减弱对整体网络影响度，同时简化双向网络；s43：添加同一特征层的原始输入节点和输出节点连接边，用于减弱计算成本增量。

6、进一步的，所述步骤s4中将颈部网络中的普通卷积模块替换为dwconv模块包括：s44：两个ghost bottleneck模块之间通过一个步长为2的深度可分离卷积dwconv进行连接，将dwconv替换颈部卷积bifpn模块中所有普通卷积块conv。

7、进一步的，所述步骤s4中输出特征被送入添加了cbam模块的检测器进行特征点判断包括：s45：将cbam模块集成到颈部网络的下采样步进中，c3模块的输出通过cbam模块传输到检测头。

8、进一步的，所述cbam模块包括两个独立的卷积步骤依次推断输入特征图，分别为通道注意力模块和空间注意力模块，工作流程包括：s451：给定一个中间特征图f∈rc×h×w作为输入，在通道注意力模块中对输入图片f按通道进行全局最大池化和全局平均池化，得到两个一维向量；s452：向量通过一个全连接层运算，进行逐元素加和操作和sigmoid激活操作，生成一维的通道注意力机制特征图mc∈rc×1×1；s453：如式将mc与输入特征映射f进行逐元素乘法运算，得到通道注意力调整的特征映射f′；s454：按空间进行全局最大池化和平均池化；s455：将池化生成的两个二维向量拼接后进行卷积运算；s456：降维后的特征图经过sigmoid激活操作，生成空间注意力特征图ms∈r1×h×w；s457：将空间注意力特征图ms和输入特征映射f’做乘法，得到最终生成的特征式中，表示逐元素相乘法，在乘法运算期间，mc表示在通道维度上做注意力提取操作，mc(f)表示采用通道注意力机制所得来的权重系数，ms表示在空间维度上做注意力提取操作，ms(f′)表示采用空间注意力机制所得来的权重系数，f′表示输入特征图f经过通道注意力调整后的特征图输出，f″表示最终的精确输出。

9、进一步的，所述步骤s4中去除yolov5s网络四个检测头中大检测头包括：s46：在颈部网络中，增加了新的p2小尺度预测头，包括160×160×128的上采样步骤，去除了大目标预测头，包括20×20×1024的特征层输出。

10、进一步的，所述步骤s7将验证集输入至所述训练后的多目标害虫检测网络模型中进行模型评估包括：将验证集输入至训练后的多目标害虫检测网络模型中，基于所述多目标害虫检测网络模型的查准率p、召回率r和平均精度均值map对其进行评估；式中，tp为预测正确的正样本数量，fn为预测错误的负样本数量，fp为预测错误的正样本数。

11、第二方面，本发明还提供了一种基于改进yolov5s非结构化环境下的多目标害虫检测系统，所述系统包括：生成第一目标数据集单元，适用于采集被甘蔗蚜虫侵扰的作物图像，并对图像进行预处理作为第一目标数据集；生成第二目标数据集单元，适用于将所述第一目标数据集与优化标注后的agripest数据集进行随机选取并重新组合制作成第二目标数据集；数据集划分单元，适用于将所述第二目标数据集进行划分为训练集、验证集和测试集；模型改进单元，适用于以yolov5s网络模型为基准模型构建改进的yolov5s网络模型作为多目标害虫检测网络模型，包括：去除yolov5s网络四个检测头中大检测头，通过ghostnet模块重构主干网络用于特征提取，引入bifpn模块至fpn部分进行特征融合，将颈部网络中的普通卷积模块替换为dwconv模块，输出特征被送入添加了cbam模块的检测器进行特征点判断；模型训练单元，适用于将训练集输入至所述多目标害虫检测网络模型中进行模型训练；模型改进单元，适用于基于训练结果改进多目标害虫检测网络模型参数得到训练后的多目标害虫检测网络模型；模型评估单元，适用于将验证集输入至所述多目标害虫检测网络模型中进行模型评估；结果生成单元，适用于将测试集输入至多目标害虫检测网络模型中得到多目标害虫检测结果。

12、又一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或一个以上的指令，所述计算机指令用于使所述计算机执行上述的基于改进yolov5s非结构化环境下的多目标害虫检测方法。

13、再一方面，本发明提供了一种电子设备，包括：存储器和处理器；所述存储器中存储有至少一条程序指令；所述处理器通过加载并执行所述至少一条程序指令以实现上述的基于改进yolov5s非结构化环境下的多目标害虫检测方法。

14、本发明的有益效果是：

15、1、去除yolov5s网络模型中的四个检测头中大检测头，通过采用三层探测头减少模型参数量，提高检测速度，使改进后的模型更适用于实际农业场景中的小目标害虫检测任务。

16、2、应用ghostnet模块代替原主干模块用于特征提取，同时为更好地结合不同尺度的特征信息，引入bifpn模型至fpn部分进行特征融合，提升ghostnet轻量化网络的特征提取精度。

17、3、将整个颈部模块中的普通卷积模块全部替换为dwconv(包含于ghostbottleneck模块)，输出特征被送入添加了cbam的检测器进行特征点判断，以保证整体卷积模块的统一。

18、4、改进后的yolov5s网络模型对非结构环境下小目标高密度害虫识别能力得到提升。