一种结合特征加权和语义对齐的蔬菜垄间视觉导航方法与流程

本发明涉及农机自动导航，尤其涉及一种结合特征加权和语义对齐的蔬菜垄间视觉导航方法。

背景技术：

1、为了提高垄耕作业的效率并降低垄间作业的劳动强度，实现农机垄间的自动导航技术已经成为现代农业发展的重要方向。目前农机自动导航方法主要有全球导航卫星系统(global navigation satellite system，gnss)、惯性导航系统(inertial navigationsystem，ins)和机器视觉(machine vision，mv)导航系统。然而，全球卫星导航系统在极端环境或非结构化农业环境中存在定位精度差，缺乏环境感知功能等缺点。同样，由于积分产生的漂移，惯性导航系统在长时间工作中无法保证导航精度，且无法对当前作业实施有效监控。

2、相比之下，机器视觉(mv)是一种模拟人眼进行测量和判断的技术，它通过分析图像来获取和处理作业信息，具有实时性高的特点，能够很好地弥补上述导航方法的不足，正被广泛地应用于农业的自动导航。然而，受限于农业的非结构化环境，现有的视觉检测方法依然存在鲁棒性差的问题，易受光照和干扰等因素影响。为了解决主流农机导航方法的缺陷，迫切需要开发一种农机垄间导航方法，提高导航准确率，同时减小算法参数量，加快模型推理时间和降低导航成本。

3、目前针对农机垄间视觉导航的方法主要有两种，一种为传统算法，根据灰度图、颜色通道和纹理形状等从图像中提取出感兴趣区域。韩长杰等提出《大田甘蓝作物行识别与对行喷雾控制系统设计与试验》，通过改进exg算法提取颜色，在条带分割的roi内基于限定阈值垂直投影对特征点进行采集，通过最小二乘法对特征点进行线性拟合得到作物行中心线，实现导航线提取。

4、另一类以深度学习算法为主，基于深度学习，通过卷积层不断抽象学习图像特征，进行图像特征提取，在此基础上对图像进行像素级的分类和分割。韩振浩等提出《基于u-net网络的果园视觉导航路径识别方法》，使用u-net网络对数据增强后的数据集进行训练，根据生成的掩码图提取信息，拟合中点，并基于样条曲线拟合原理对拟合中点进行多段三次b样条曲线拟合，完成路径识别。与传统图像分割算法相比，深度学习算法具有更高的准确性和普适性。

5、上述算法均在目标作物的垄间实现的导航线的提取，虽然取得了不错的实验效果，但分割的准确性和实用性还有待提高。

技术实现思路

1、现有导航线提取方法存在以下问题：

2、1)模型复杂度有待降低。复杂的模型虽然能够有效提高图像分割的精度，但嵌入的额外模块也显著增加了模型计算所需的资源，降低了检测速度，在对计算资源较为敏感的农机设备上便难以部署。

3、2)模型缺乏通用性。大部分模型仅集中于单一作物的导航线提取，对于不同作物但是同一类型的检测缺乏检验，开发泛化性更强的算法显然更符合实际应用需求。

4、3)分割精度有待提高。对于不同种类蔬菜，其起垄高度和地膜覆盖情况存在明显差异，现有方法无法准确分割出不同蔬菜的垄道区域，边缘信息和垄道前端信息丢失严重，分割准确率低，以此结果拟合出的导航线误差较大，不利于农业场景中的实际应用。

5、为了解决上述问题，本发明提出一种结合特征加权和语义对齐的蔬菜垄间视觉导航方法，设计了一种多尺度特征加权融合的级联解码结构，对特征进行自适应加权来调整特征融合时的权重；引入流对齐模块来缓解语义分割过程中因上下采样操作而导致的特征偏移问题，提高模型对边缘区域的分割性能；在主干网络中嵌入坐标注意力模块，抑制包含无效或重复信息的通道特征响应，增加主干网络对于感兴趣特征的提取；将主干网络替换为mobilenet-v2，以减少模型参数量，提高模型效率，从而更好地适应硬件资源有限的农机设备。

6、本发明采用的技术方案如下：

7、一种结合特征加权和语义对齐的蔬菜垄间视觉导航方法，包括：

8、采集蔬菜图像数据，对蔬菜图像进行标注，制作训练集和验证集；

9、构建蔬菜图像分割模型，设置模型超参数和学习优化器；所述蔬菜图像分割模型包括基于坐标注意力机制的主干网络和多尺度特征加权的级联解码结构；

10、调整模型超参数，将训练集图像输入蔬菜图像分割模型进行训练；

11、判断蔬菜图像分割模型是否收敛且满足分割指标要求，若是，则将测试图像输入蔬菜图像分割模型中，输出分割结果；否则，调整模型超参数并继续训练；

12、根据输出的分割结果拟合导航线，从而实现蔬菜垄间视觉导航。

13、进一步地，所述多尺度特征加权的级联解码结构包括特征加权模块和流对齐模块，所述特征加权模块根据输入的不同尺寸特征图动态生成一组加权系数，并对特征图进行加权；所述流对齐模块将高层级特征和低层级特征进行语义对齐，通过将加权后的特征图与高层级特征进行级联融合，使低层级特征中的细节信息与高层级特征中的语义信息进行充分互补。

14、进一步地，所述特征加权模块被配置为执行以下步骤：

15、对于主干网络输出的不同层级特征{f1,f2,f3}，通过上采样操作将特征{f2,f3}调整至与特征f1具有相同的尺寸参数，得到特征{f1,f22,f33}；采用由3×3卷积和1×1卷积组成的卷积块对整形后的特征{f1,f22,f33}进行正则操作；在通道维度上拼接这些特征，对拼接得到的特征f施加自适应平均池化操作，得到一维特征向量m∈r3c，其中c表示拼接的通道；

16、针对一维特征向量m，连续采用1×1卷积块来降低维度，并在输出前采用softmax函数对输出权重进行激活；输出权值向量表示为{μ1,μ2,μ3}，代表不同层级特征进行融合时的权重大小。

17、进一步地，所述对拼接得到的特征f施加自适应平均池化操作，包括：

18、

19、式中，m(k)为对应特征层经过自适应平均池化后的值；w为输入特征层的宽度维度，h为输入特征层的高度维度；fk(i,j)为第k个通道上位置(i,j)的值。

20、进一步地，所述流对齐模块被配置为执行以下步骤：

21、当相邻层级的低层级特征fl和高层级特征fl-1在输入流对齐模块后，采用1×1卷积对进行处理，对齐低层级特征fl与高层级特征fl-1的尺寸；对处理后的特征进行拼接，并通过3×3卷积生成语义流场δl-1；

22、将高层级特征fl-1通过warp运算上采样到与低层级特征fl相同的分辨率；在warp运算中，高分辨率特征图根据低分辨率特征图中相邻像素的双线性插值得到，而像素的邻域根据所学习到的语义流场定义；

23、将具有相同分辨率的低层级特征fl与高层级特征fl-1以求和运算的方式得到最终输出。

24、进一步地，所述基于坐标注意力机制的主干网络被配置为执行以下步骤：

25、在给定输入情况下，分别沿横坐标和纵坐标对每个通道进行编码；

26、以拼接方式将编码生成的特征聚合起来，并采用批归一化和非线性激活得到聚合后的特征f；

27、将特征f沿空间维度分成两个独立的张量，并将原图特征与权重相乘实现加权。

28、进一步地，所述基于坐标注意力机制的主干网络采用mobilenet-v2网络作为主干特征提取网络，所述mobilenet-v2网络采用深度可分离卷积和倒残差结构以降低模型参数量和计算复杂度。

29、进一步地，所述根据输出的分割结果拟合导航线，包括：

30、逐行扫描掩码获取每一行的非零像集合；

31、遍历像素集合，搜索位于每行最左侧和最右侧像素点，并计算中点；

32、在掩码高度方向以平均间隔的方式选取若干个点组成点集；

33、利用最小二乘法计算拟合直线截距和斜率，输出拟合导航线。

34、进一步地，所述对蔬菜图像进行标注，制作训练集和验证集，包括：

35、通过可视化图像标注工具对采集的蔬菜图像进行语义标注，得到json文件，并转化为灰度图制作成标签，再将标注图像制作成voc格式的数据集，按照预设比例将数据集划分为训练集和验证集进行训练和测试。

36、进一步地，所述蔬菜图像分割模型的分割指标包括平均交并比、平均像素准确率和浮点运算数；所述蔬菜图像分割模型采用模型推理速度、模型内存占用量和参数量来评估模型实时性能。

37、本发明的有益效果在于：

38、1、针对现有语义分割模型对垄道边缘及前端等对导航线提取影响显著区域分割精度低、实时性差等问题，本发明设计了一种多尺度特征加权融合的级联解码结构，以自适应加权特征逐级融合的方式使低层级特征与高层级特征之间的细节特征和语义信息得到互补。

39、2、多尺度特征加权融合的级联解码结构通过特征加权模块对分割图像进行加权融合处理，可提升特征融合质量，增强高频特征响应，提升模型分割能力。

40、3、鉴于语义分割特征在采样过程中产生语义偏移而导致边缘分割不准确的问题，多尺度特征加权融合的级联解码结构通过嵌入流对齐模块提高算法对垄道边缘的分割精度。本发明使用流对齐的方式替代传统插值方法进行上采样，一定程度上减轻由上采样导致的语义信息错位问题，实现了更灵活、更动态的特征配准，进一步提升了算法的分割性能。

41、4、针对常规分割算法容易忽视垄道远端和边缘等高频区域的问题，本发明在主干网络的最高层级特征提取块后嵌入坐标注意力机制(coordinate attention，ca)模块，强化网络对包含高频区域信息通道特征的提取，从而激活该区域特征的响应。

42、5、本发明采用轻量化的mobilenet-v2作为主干网络来提取特征，可显著降低模型参数量并改善其检测速度，提高建模效率。

43、6、基于分割结果，本发明使用最小二乘法提取导航线，为农机设备在田间的自动导航提供了支持。