一种基于地面约束的路侧相机三维检测跟踪方法及系统

本发明属于智慧交通领域，具体涉及一种基于地面约束的路侧相机三维检测跟踪方法及系统。

背景技术：

1、21世纪以来，随着世界经济的迅速发展，道路交通成为了现代社会不可或缺的重要组成部分。然而，道路交通的快速增长也带来了一系列问题，如交通拥堵、交通事故频发等，严重影响了人们的生活和安全。为了解决这些问题，科研人员开始将各种高新技术应用于交通系统，从而推动了智能交通系统(its)的发展。

2、运动交通参与者的三维跟踪是智能交通系统中的重要任务之一。它指的是在传感器时序序列中持续追踪交通参与者(如车辆、行人等)的真实世界位置和运动轨迹。这一任务往往是在三维目标检测的基础上进行的，是智能交通系统的核心部分之一。

3、目前常用的检测跟踪范式依赖高精度的三维目标检测模型，但是较高精度的三维目标检测模型往往依靠成本高昂的激光雷达完成检测，这对路端设备部署检测跟踪模型带来了成本挑战。基于相机的检测跟踪模型可以有效解决上述成本问题。已知的基于相机的三维目标检测模型需要大量高质量训练数据和计算资源来学习模型的一系列参数,模型的性能往往存在较大的局限性,只能适应与已知数据非常接近的新情况，泛化能力较差。有效利用相机静止、特有场景的先验信息，可以极大提升检测模型的检测精度和泛化能力。例如，专利编号cn115984766a(以下称为“现有技术专利”)描述了一种基于二维目标检测模型和目标固有航向角的单目视觉三维检测方法，通过二维目标检测模型计算图像上目标二维边界框底部中心点，再结合目标固有航向角和先验长宽计算目标真实三维位置。然而，该方法要求目标具有固有的航向角与先验长宽，对于路端高自由度目标并不适用。因此在控制部署成本的同时，充分利用路端场景提升检测跟踪精度及泛化性应当是路侧检测跟踪算法需要解决的难题。

技术实现思路

1、为了解决现有技术中存在的问题，本发明目的在于提供一种基于地面约束的路侧相机三维检测跟踪方法，基于路端相机静止、路端场景，能够实现高精度、低成本的实时检测跟踪，并保障了极高的泛化性。

2、为了实现上述目的，本发明采用的技术方案是：一种基于地面约束的路侧相机三维检测跟踪方法，包括以下步骤：

3、根据监控路口相机图像、监控路口相机内参k和畸变系数，离线获取地面方程并标定相机系到地面坐标系的相机外参；

4、使用yolox检测模型对相机图像进行检测，分别得到二维检测结果，所述二维检测结果包含类别、置信度分数和二维边界框；

5、对于非车辆目标，结合置信度分数，采用非密集抑制算法处理，得到非车辆目标二维检测；

6、对于车辆目标，结合置信度分数，采用非极大值抑制算法处理，得到车辆目标二维检测结果输出；

7、使用基于卡尔曼滤波与匈牙利匹配的sort算法，结合非车辆目标的二维边界框计算交并比，并以交并比为度量参数构建亲和度矩阵，并采用恒速度运动模型进行动态建模，对非车辆目标进行二维目标跟踪，得到非车辆目标的前后帧匹配关系；

8、将相机图像、图像上所有目标的二维边界框以及地面方程作为路侧单目三维目标检测模型的输入，根据目标二维边界框依次裁剪图像块，将所有图像块放缩为统一大小，利用二维骨干网络依次提取每个目标的图像特征，得到图像特征后分别估计目标图像落地点、相机系朝向角和实际长宽，结合地平面方程和相机内参，计算目标相机坐标系下三维落地点，并转换到地面坐标系，结合相机系朝向角和实际长宽得到三维检测结果，所述三维检测结果包括地面坐标系三维落地点、朝向角、实际长宽；

9、结合车辆目标的三维检测结果，使用基于卡尔曼滤波与贪心匹配的三维多目标跟踪方法，在地面坐标系下，以目标三维落地点间的欧式距离为度量参数构建亲和度矩阵，并采用恒加速度运动模型进行动态建模，构建车辆跟踪器，获取车辆目标三维位置、尺寸、朝向、速度和历史轨迹信息；

10、利用所述前后帧匹配关系完成非车辆目标的数据关联，并在地面坐标系下，采用基于卡尔曼滤波算法的恒加速度运动模型进行动态建模，构建非车辆跟踪器，估计非车辆目标三维位置、尺寸、朝向、速度和历史轨迹信息。

11、进一步的，所述相机图像从监控路口部署的相机设备中获取，并且相机视野中存在清晰可见的斑马线标志。

12、进一步的，根据监控路口相机图像信息、监控路口相机内参k和畸变系数，离线获取地面方程并标定相机系到地面坐标系的相机外参包括：

13、使用斑马线拟合地面方程，像素坐标系是二维坐标系、坐标原点在图像的左上角、相机坐标系和地面坐标系都是三维坐标系，相机坐标系的原点在相机中心、地面坐标系的原点设在斑马线的左上角；求解相机坐标系中的地面方程就转化为将地面坐标系中[0,0,1]向量变换到相机坐标系中，变换过程需要相机坐标系到地面坐标系的变换矩阵t＝[r|t]，已知相机内参k，像素坐标puv＝[u,v]，相机系坐标pc＝[xc,yc,zc]，地面坐标系pw＝[xw,yw,zw]；斑马线上的点在地面上，zw＝0，相机成像方程zcpuv＝kpc，坐标系转换方程pc＝tpw；以斑马线角点作为标定参照物，最小化投影误差，求解相机到地面坐标系的变换矩阵tcg作为相机外参，获取到相机外参tcg之后，进一步得到相机系中的地面方程。

14、进一步的，对于非车辆目标，以推理置信度为标准，滤除置信度低于预设阈值thodf的目标；采用非极大值抑制算法筛选出置信度高于阈值thodn的目标，并统计置信度高于阈值thodn的目标所遮蔽的目标个数；若输出结果的置信度高于阈值thodn，或者置信度虽低于阈值但其遮蔽目标个数超过阈值thodnum，则将所述目标作为最终的可信二维检测结果输出。

15、进一步的，二维骨干网络采用resnet50、hrnet或shufflenet。

16、进一步的，二维主干网络在训练时：对于落地点预测分支，训练目标为落地点相对于底部中心点的相对偏移量，采用l1损失函数；对于长宽预测，训练目标为实际长宽比基准长宽后的对数值，损失函数为l1损失函数；对于角度预测，采用multibin损失。

17、进一步的，利用相机外参tcg将三维落地点及朝向角从相机系转换到地面坐标系具体如下：

18、对于三维落地点坐标系变换可以利用如下公式求解：

19、tcg×[xc,yc,zc,1]t＝[xg,yg,zg,1]t

20、其中，[xc,yc,zc,1]为相机坐标系下落地点三维坐标，[xg,yg,zg,1]为地面坐标系下落地点三维坐标。

21、对于朝向角坐标系变换则需利用如下公式求解：

22、

23、其中，θc为目标朝向在相机坐标系下与x轴的夹角，θg为目标朝向在地面坐标系下与x轴的夹角，为相机坐标系下根据朝向角构建的虚拟向量，为地面坐标系下的虚拟向量。

24、基于本发明所述方法的技术构思，还提供一种路侧相机视角下利用地面先验的多阶段三维检测跟踪系统，包括参数获取模块、二维检测模块、前后帧匹配关系获取模块、三维检测模块以及跟踪模块；

25、参数获取模块用于根据监控路口相机图像、监控路口相机内参k和畸变系数，离线获取地面方程并标定相机系到地面坐标系的相机外参；

26、二维检测模块使用yolox检测模型对相机图像进行检测，分别得到二维检测结果，所述二维检测结果包含类别、置信度分数和二维边界框；

27、对于非车辆目标，结合置信度分数，采用非密集抑制算法处理，得到非车辆目标二维检测；

28、对于车辆目标，结合置信度分数，采用非极大值抑制算法处理，得到车辆目标二维检测结果输出；

29、前后帧匹配关系获取模块使用基于卡尔曼滤波与匈牙利匹配的sort算法，结合非车辆目标的二维边界框计算交并比，并以交并比为度量参数构建亲和度矩阵，并采用恒速度运动模型进行动态建模，对非车辆目标进行二维目标跟踪，得到非车辆目标的前后帧匹配关系；

30、三维检测模块用于将相机图像、图像上所有目标的二维边界框以及地面方程作为路侧单目三维目标检测模型的输入，根据目标二维边界框依次裁剪图像块，将所有图像块放缩为统一大小，利用二维骨干网络依次提取每个目标的图像特征，得到图像特征后分别估计目标图像落地点、相机系朝向角和实际长宽，结合地平面方程和相机内参，计算目标相机坐标系下三维落地点，并转换到地面坐标系，结合相机系朝向角和实际长宽得到三维检测结果，所述三维检测结果包括地面坐标系三维落地点、朝向角、实际长宽；

31、跟踪模块用于结合车辆目标的三维检测结果，使用基于卡尔曼滤波与贪心匹配的三维多目标跟踪方法，在地面坐标系下，以目标三维落地点间的欧式距离为度量参数构建亲和度矩阵，并采用恒加速度运动模型进行动态建模，构建车辆跟踪器，获取车辆目标三维位置、尺寸、朝向、速度和历史轨迹信息；利用所述前后帧匹配关系完成非车辆目标的数据关联，并在地面坐标系下，采用基于卡尔曼滤波算法的恒加速度运动模型进行动态建模，构建非车辆跟踪器，估计非车辆目标三维位置、尺寸、朝向、速度和历史轨迹信息。

32、本发明还可以提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现本发明所述基于地面约束的路侧相机三维检测跟踪方法。

33、同时提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的基于地面约束的路侧相机三维检测跟踪方法。

34、与现有技术相比，本发明至少具有以下有益效果：

35、本发明首先在图像视角进行二维目标检测，保证了目标的召回率，具有较好的鲁棒性；利用对行人等难检目标的密集输出信息，有效的提升了二维检测模型对难检目标的检测能力；利用单目三维目标检测模型，估计目标在图像上的真实落地点、朝向角、长宽，从而能够有效结合路端相机静止、路端场景固定的优势，获得目标三维信息，扩展了现有技术在高自由度目标检测场景下的应用；本发明使用使用两个独立的三维跟踪器分开处理车辆目标与非车辆目标，并利用二维跟踪器获取非车辆目标的帧间匹配关系，与后续的三维跟踪器配合完成数据关联，有效改善行人等非车辆目标由于二维检测框不稳定导致三维落地点估计误差较大打乱三维跟踪轨迹的问题。