一种基于地面约束的路侧相机三维检测跟踪方法及系统
技术特征:
1.一种基于地面约束的路侧相机三维检测跟踪方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于地面约束的路侧相机三维检测跟踪方法,其特征在于,所述相机图像从监控路口部署的相机设备中获取,并且相机视野中存在清晰可见的斑马线标志。
3.根据权利要求1所述的基于地面约束的路侧相机三维检测跟踪方法,其特征在于,根据监控路口相机图像信息、监控路口相机内参k和畸变系数,离线获取地面方程并标定相机系到地面坐标系的相机外参包括:
4.根据权利要求1所述的基于地面约束的路侧相机三维检测跟踪方法,其特征在于,对于非车辆目标,以推理置信度为标准,滤除置信度低于预设阈值thodf的目标;采用非极大值抑制算法筛选出置信度高于阈值thodn的目标,并统计置信度高于阈值thodn的目标所遮蔽的目标个数;若输出结果的置信度高于阈值thodn,或者置信度虽低于阈值但其遮蔽目标个数超过阈值thodnum,则将所述目标作为最终的可信二维检测结果输出。
5.根据权利要求1所述的基于地面约束的路侧相机三维检测跟踪方法,其特征在于,二维骨干网络采用resnet50、hrnet或shufflenet。
6.根据权利要求1所述的基于地面约束的路侧相机三维检测跟踪方法,其特征在于,二维主干网络在训练时:对于落地点预测,训练目标为落地点相对于底部中心点的相对偏移量,采用l1损失函数;对于长宽预测,训练目标为实际长宽比基准长宽后的对数值,损失函数为l1损失函数;对于角度预测,采用multibin损失。
7.根据权利要求1所述的基于地面约束的路侧相机三维检测跟踪方法,其特征在于,利用相机外参tcg将三维落地点和朝向角从相机系转换到地面坐标系具体如下:
8.一种路侧相机视角下利用地面先验的多阶段三维检测跟踪系统,其特征在于,包括参数获取模块、二维检测模块、前后帧匹配关系获取模块、三维检测模块以及跟踪模块;
9.一种计算机设备,其特征在于,包括处理器以及存储器,存储器用于存储计算机可执行程序,处理器从存储器中读取所述计算机可执行程序并执行,处理器执行计算可执行程序时能实现权利要求1~7中任一项所述基于地面约束的路侧相机三维检测跟踪方法。
10.一种计算机可读存储介质,其特征在于,计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时,能实现如权利要求1~7中任一项所述的基于地面约束的路侧相机三维检测跟踪方法。
技术总结
本发明公开一种基于地面约束的路侧相机三维检测跟踪方法及系统,所述方法首先在图像视角进行二维目标检测,利用对行人等难检目标的密集输出信息,基于路端相机静止、路端场景,先离线获取地面方程,再利用地面方程、相机内参以及落地点估计得到目标三维信息;使用二维跟踪器获取目标的帧间匹配关系,与后续的三维跟踪器配合完成数据关联,有效改善行人等小目标由于二维检测框不稳定导致三维落地点估计误差较大打乱三维跟踪轨迹的问题,本发明能够实现高精度、低成本的实时检测跟踪,本发明免去了获取激光雷达等传感器的高昂成本,而检测跟踪精度却依旧有所保障,能够充分利用路侧设备的空间先验,有效的提升了方法的泛化性。
技术研发人员:辛景民,田佳硕,张皓霖,林泽伟,刘霍锋
受保护的技术使用者:西安交通大学
技术研发日:
技术公布日:2024/11/21
技术研发人员:辛景民,田佳硕,张皓霖,林泽伟,刘霍锋
技术所有人:西安交通大学
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
