一种目标检测追踪方法及系统与流程

本技术涉及自动驾驶，特别涉及一种目标检测追踪方法及系统。

背景技术：

1、在自动驾驶、智慧交通等领域，精确的目标检测和追踪是目标感知中的关键技术。

2、目前感知系统多应用检测+多目标追踪(multiple object tracking，mot)的两阶段方式，此类两阶段方案检测模块有较丰富基于模型学习的方法，但在mot模块多应用tracking-by-detection范式，这需要在tracking阶段设计较多繁琐的规则以保证算法的鲁棒性。另外，一些motr(multiple-object tracking with transformer，基于transformer模型的多目标追踪)方案借助transformer(一种深度学习模型)的注意力机制，将检测和追踪整合到一个框架中，这种方法虽然简化了系统架构，但是面临着追踪查询(track query)和检测查询(detection query)的表征冲突问题，如果初始化的detectionquery精度较差，模型很收敛、进而影响track(追踪)精度，如果初始detection query的精度太高，又会和track query产生争抢；另外motr方式将det(检测)与tracking(追踪)耦合，很难直接应用sota(state-of-the-art，当前最优的)的检测算法，需要有较多适配工作。

3、因此，需要一种新的方案来提高检测和追踪的整体性能，特别是在复杂环境下。

技术实现思路

1、本技术要解决的技术问题在于，针对现有技术的不足，提供一种目标检测追踪方法及系统，以解决现有目标感知系统追踪设计繁琐、追踪查询与检测查询互相干扰、需要较多适配工作配合的问题。

2、为了解决上述技术问题，本技术实施例第一方面提供了一种目标检测追踪方法，包括：

3、获取自动驾驶车辆采集的环境数据；

4、对所述环境数据进行目标障碍物的特征提取和特征融合，得到初始环境特征；

5、对所述初始环境特征分别进行目标检测和目标追踪，得到检测特征值和追踪特征值；

6、将所述检测特征值和追踪特征值相融合，得到目标障碍物的检测追踪结果。

7、根据本技术提供的目标检测追踪方法，对所述环境数据进行目标障碍物的特征提取和特征融合，得到初始环境特征的步骤包括：

8、对所述环境数据中来自不同传感器的数据进行同步特征提取，得到多个提取特征；

9、将多个提取特征进行特征融合，形成初始环境特征。

10、根据本技术提供的目标检测追踪方法，对所述初始环境特征分别进行目标检测和目标追踪，得到检测特征值和追踪特征值的步骤包括：

11、获取初始检测目标，所述初始检测目标利用预设检测头对初始环境特征进行目标检测得到，或者以随机生成的目标作为所述初始检测目标；

12、获取初始追踪目标，利用追踪目标传导获取上一帧的所述检测追踪结果作为当前帧的所述初始追踪目标,或者以随机生成的目标作为所述初始追踪目标；

13、根据所述初始检测目标及初始追踪目标对所述初始环境特征分别进行目标检测和目标追踪，得到初始检测特征和初始追踪特征；

14、利用预设检测模型对初始检测特征进行目标检测，得到检测特征值；

15、利用预设追踪模型对初始追踪特征进行目标追踪，得到追踪特征值。

16、根据本技术提供的目标检测追踪方法，所述对所述初始环境特征分别进行目标检测和目标追踪，得到检测特征值和追踪特征值的步骤还包括：

17、利用预设训练模型对所述初始检测特征和初始追踪特征进行优化，得到更高精度的检测特征值和追踪特征值；

18、所述利用预设训练模型对所述初始检测特征和初始追踪特征进行优化，得到更高精度的检测特征值和追踪特征值步骤前还包括：

19、利用预设注意力模型对所述初始检测特征和初始追踪特征分别进行掩码操作，避免所述初始检测特征和初始追踪特征进行信息交互。

20、根据本技术提供的目标检测追踪方法，所述将所述检测特征值和追踪特征值相融合，得到目标障碍物的检测追踪结果的步骤包括：

21、基于所述检测特征值和追踪特征值的关联关系确定所述检测特征值和追踪特征值的关联矩阵；

22、基于所述关联矩阵，将已关联的所述检测特征值和追踪特征值相融合，得到目标障碍物的检测追踪结果。

23、根据本技术提供的目标检测追踪方法，基于所述检测特征值和追踪特征值的关联关系确定所述检测特征值和追踪特征值的关联矩阵的步骤包括：

24、基于所述检测特征值和追踪特征值确定关联关系，所述关联关系包括：所述检测特征值和追踪特征值的类别相似度关系、所述检测特征值和追踪特征值的位置相似度关系、所述检测特征值和追踪特征值的几何相似度关系和所述检测特征值和追踪特征值的特征相似度关系；

25、基于所述检测特征值和追踪特征值的关联关系，利用所述预设算法模型确定所述检测特征值和追踪特征值的关联矩阵。

26、根据本技术提供的目标检测追踪方法，所述基于所述关联矩阵，将已关联的所述检测特征值和追踪特征值相融合，得到目标障碍物的检测追踪结果的步骤包括：

27、判断所述检测特征值和追踪特征值的关联权重是否大于关联阈值，若是，则判断所述追踪目标和所述检测目标已关联，否则为未关联；

28、将已关联的所述检测特征值和追踪特征值相融合。

29、上述目标检测追踪方法，通过环境数据获取初始环境特征，再通过对初始环境特征分别进行目标检测和目标追踪，得到检测特征值和追踪特征值，再将检测特征值和追踪特征值相融合，得到目标障碍物的检测追踪结果。检测特征值和追踪特征值基于初始环境特征分别得到，两者之间不会产生相互干扰的问题，同时，追踪目标设计更加简洁，通过与关联的检测目标进行融合即可对追踪目标进行状态更新，无需其他的适配工作。

30、本技术实施例第二方面提供了一种目标检测追踪系统，包括：

31、数据收集模块，用于获取自动驾驶车辆采集的环境数据；

32、特征编码模块，用于对所述环境数据进行目标障碍物的特征提取和特征融合，得到初始环境特征；

33、目标生成模块，对所述初始环境特征分别进行目标检测和目标追踪，得到检测特征值和追踪特征值；

34、优化模块，用于对所述初始检测特征和初始追踪特征进行优化，得到更高精度的检测特征值和追踪特征值；

35、数据关联模块，用于确定所述检测特征值和追踪特征值的关联关系，并基于所述关联关系确定所述检测特征值和追踪特征值的关联矩阵。

36、数据融合模块，用于将所述检测特征值和追踪特征值相融合，得到目标障碍物的检测追踪结果。

37、根据本技术提供的目标检测追踪系统，还包括：检测头和追踪目标传导模块；

38、所述检测头用于对所述初始环境特征进行目标检测，得到初始检测目标；

39、所述追踪目标传导模块用于获取上一帧的所述检测追踪结果作为当前帧的初始追踪目标。

40、根据本技术提供的目标检测追踪系统，所述目标检测追踪端到端系统还包括：掩码模块，所述掩码模块用于阻隔所述检测目标和所述追踪目标的信息交换。

41、上述目标检测追踪系统，检测特征值和追踪特征值基于初始环境特征各自生成，两者之间不会产生相互干扰的问题，同时，通过与检测目标进行融合即可对追踪目标进行状态更新，目标追踪与检测在一个网络框架中完成，无需其他的适配工作，无需将检测和追踪分阶段进行，直接实现端到端的目标检测追踪，设计更加简洁。