一种基于注意力门控网络的目标跟踪方法及系统
技术特征:
1.一种基于注意力门控网络的目标跟踪方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于注意力门控网络的目标跟踪方法,其特征在于,所述注意力门控网络包括多个卷积模块和多个级联的多头注意力模块,所述多个卷积模块用于对模板特征和搜索区域特征进行降维和变换处理,并映射到相同的特征空间;所述多个级联的多头注意力模块用于对多个卷积模块处理后的结果逐级地融合语义信息,最后通过sigmoid运算生成稀疏的门控权重。
3.根据权利要求2所述的一种基于注意力门控网络的目标跟踪方法,其特征在于,所述多头注意力模块基于特征维度将输入特征划分为多组子空间,并独立地计算每组子空间的注意力,最后进行融合;
4.根据权利要求1所述的一种基于注意力门控网络的目标跟踪方法,其特征在于,所述互相关网络首先通过多个卷积模块对模板特征和搜索区域特征进行降维和变换处理,然后通过逐像素的互相关运算计算模板特征和搜索区域特征之间的每一个位置的相似性得分,并根据模板的掩膜划分为前景相似性图和背景相似性图;随后通过topk运算来生成最终的单通道的前景相似性得分和背景相似性得分,对前景相似性得分和背景相似性得分进行softmax计算得到目标位置相似性图;采用dcf模块定位目标的中心位置,从而生成位置映射图;将前景相似性图、目标位置相似性图和位置映射图级联并输入卷积模块中,得到目标的位置特征。
5.根据权利要求4所述的一种基于注意力门控网络的目标跟踪方法,其特征在于,所述逐像素的互相关运算的表达式为:
6.根据权利要求1所述的一种基于注意力门控网络的目标跟踪方法,其特征在于,所述分割网络包括多个上采样模块,通过多个上采样模块逐级地精细化目标的掩膜;
7.根据权利要求6所述的一种基于注意力门控网络的目标跟踪方法,其特征在于,所述分割网络训练过程中的损失函数引入有边缘损失项,该边缘损失项的计算表达式为:
8.根据权利要求1所述的一种基于注意力门控网络的目标跟踪方法,其特征在于,所述方法采用基于iounet的矩形框优化网络在分割网络输出结果的基础上,优化输出的目标矩形框,所述基于iounet的矩形框优化网络的处理过程包括:
9.根据权利要求8所述的一种基于注意力门控网络的目标跟踪方法,其特征在于,所述最大化矩形框的iou值的计算表达式为:
10.一种基于注意力门控网络的目标跟踪系统,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,处理器调用所述计算机程序执行如权利要求1至9任一所述的方法的步骤。
技术总结
本发明涉及一种基于注意力门控网络的目标跟踪方法及系统,方法包括:获取目标跟踪视频序列,并进行图像采样,构建包含目标模板图像和搜索区域图像的图像对;采用骨干网络分别从目标模板图像和搜索区域图像中,提取模板特征和搜索区域特征;分别采用互相关网络和注意力门控网络根据模板特征和搜索区域特征,生成目标的位置特征和稀疏的门控权重;将门控权重与位置特征进行点积运算后输入分割网络中,生成目标的分割掩膜,并根据最大的分割区域输出目标矩形框,显示在目标跟踪视频序列的对应位置。与现有技术相比,本发明有效地提高跟踪算法对目标被部分遮挡、目标显著外观和背景变化问题的鲁棒性,实现了复杂场景中的精准且鲁棒的目标跟踪。
技术研发人员:顾晓东,杨义锦
受保护的技术使用者:复旦大学
技术研发日:
技术公布日:2024/11/28
技术研发人员:顾晓东,杨义锦
技术所有人:复旦大学
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
