一种跨摄像头车辆跟踪及孪生数据生成方案的制作方法

本发明涉及道路安防，具体是一种跨摄像头车辆跟踪及孪生数据生成方案。

背景技术：

1、随着深度学习在视觉领域应用的日渐成熟，安防领域(主要是高速公路和隧道)的视频分析相关业务也逐渐繁重，用户的需求也日益剧增，用户已经不满足于单摄像的目标检测与事件分析业务，通常更高级的需求是能够通过多个摄像头的联动，综合具体的实际，给出最终的业务判断。

2、经检索，公开号为“cn117218580a”的专利文件中公开了一种结合多模型的高速公路跨摄像头多车辆跟踪方法及应用，对跟踪视频的目标车辆图片进行移动窗口自注意力的多尺度特征的车辆目标检测，对检测的车辆进行多融合reid特征的提取，并基于目标检测的box和特征提取的reid进行暂存-融合策略的单摄像头车辆跟踪轨迹，使用多种后处理技术对单摄像头车辆跟踪轨迹进行过滤以及多个摄像机间的单摄像头车辆跟踪轨迹的关联匹配，形成最终的跨摄像头车辆跟踪轨迹，该结合多模型的高速公路跨摄像头多车辆跟踪方法可在高速公路上实现准确地跨摄像头的车辆跟踪，减少多车辆在跨摄像机间跟踪的id身份的转变而引起的跟踪失败情况的出现；

3、该方法主要使用移动窗口自注意力对车辆目标检测模型进行优化，使用多特征reid融合对车辆目标重识别模型进行优化，并采用重排序的方法跟踪的车辆轨迹进行优化处理以实现在高速公路上利用多摄像头实现多车辆的跟踪。

4、上述现有技术仍存在着以下缺陷：

5、一、车辆跟踪验证只通过特征匹配，只依赖reid特征匹配进行相似度验证，对于光线变化和遮挡，跨摄像头跟踪的准确率较低；

6、二、无摄像头标定数据，无法实现孪生数据预测和轨迹预测。

技术实现思路

1、本发明的目的在于提供一种跨摄像头车辆跟踪及孪生数据生成方案，以解决上述背景技术中提出的问题。

2、本发明的技术方案是：一种跨摄像头车辆跟踪及孪生数据生成方案，包括：

3、视频读入模块，视频读入模块用于从视频中读取图像帧用于后续处理；

4、标定模块，标定模块用于在每个摄像头可见范围内进行选点，对每个摄像头画面图像进行标定；

5、多目标跟踪模块，多目标跟踪模块采用卡尔曼滤波和匈牙利匹配等算法进行多目标跟踪，对于单摄像头新出现的目标，需要和上一个摄像头丢失的目标进行特征匹配和车牌识别验证，经过加权相似度矩阵计算，若判断为同一辆车，则进行id继承，保证车辆跟踪过程的id唯一性，若车牌识别和特征相似度计算没有和上一个摄像头缓存的车辆信息匹配上，此时则把该目标当做新的目标进行跟踪；

6、缓存目标模块，缓存目标模块主要缓存每个目标的特征和车牌数据，目标的特征计算方式为目标图像经过reid模型输出的1*256维度的特征值，每个目标缓存三帧的特征值；同时缓存每辆车的车牌识别结果；

7、孪生数据生成模块，孪生数据生成模块通过标定矩阵，对摄像头可视范围内的目标，直接映射孪生坐标系的目标位置，在不可见范围，使用kalman滤波对丢失目标的位置进行预测，若在孪生坐标系中，当前目标预测的移动速度过快，则需要在下一个摄像头以较慢的移动速度等待该id的目标出现，相反，当该id的目标已经出现在下一个摄像头中，预估模块需要加速当前摄像头该id目标的移动速度，在孪生坐标系中加速追赶上该id实际孪生坐标位置。

8、优选的，标定模块在对对每个摄像头画面图像进行标定时，在摄像头可视范围内，施工人员在路面区域标记不少于四个点，记作gp，在视频画面中，gp所对应的像素点坐标记作pp，由(gp,pp)构成的像素对，计算出物理坐标系和像素坐标系转换的单应矩阵。

9、优选的，多目标跟踪模块首先调用检测模型检测当前帧图像所有目标框，与上一帧图像中所有的tracker对象计算代价矩阵，匹配上的检测框负责更新tracker的位置及状态，未匹配上的检测框需要和上一个摄像头丢失的tracker对象计算相似度验证匹配关系，对于相似度较大的匹配，则使用匹配上的上一个摄像头对应tracker中的id进行跟踪，同时更新tracker，对于未匹配的目标，则对tracker id进行全局更新。

10、优选的，缓存目标模块还负责对当前摄像头运动丢失的目标进行存储，同时传给下一个摄像头进行特征匹配和车牌识别结果校验，缓存的数据包括，目标的特征及车牌识别的结果；循环重复多目标跟踪模块和缓存目标模块模块的作业，保持目标的跟踪和更新。

11、优选的，摄像头之间的间隔距离x，摄像头可视范围为m，摄像头不可见范围n，根据多目标跟踪模块和缓存目标模块模块计算，车辆在摄像头间的运动，id不会跳变。

12、优选的，多目标跟踪模块和缓存目标模块模块的具体作业流程包括：

13、步骤201：对视频帧图像进行目标检测，每个目标有对应的检测框和类别。

14、步骤202：目标检测框与当前摄像头的tracker对象使用匈牙利匹配算法计算代价矩阵。

15、步骤203：根据代价矩阵计算检测目标和tracker的绑定关系。

16、步骤204：对于已经绑定的tracker对象，后续经过模块208，进行kalman filter预测模块等进行tracker数据更新。

17、步骤205：未绑定tracker的检测目标，需要和上一个摄像头缓存的车辆特征和车牌识别数据，计算相似度矩阵，匹配上一个摄像头中丢失的车辆目标。

18、步骤206：如果没有匹配上一个摄像头丢失的目标，则创建新的id进行跟。

19、步骤207：如果匹配上一个摄像头丢失的目标，则继承匹配上的目标id继续跟踪。

20、步骤208：对当前摄像头中跟踪的目标进行kalman预测和位置更新。

21、步骤209：判断tracker跟踪的目标是否丢失，如果丢失则需要缓存丢失tracker的车辆特征和车牌结果数据，如果没有丢失，则继续下一帧的跟踪。

22、步骤210：缓存车辆的特征，缓存大中小三个不同尺寸车辆的reid模型输出的1*256特征数据。

23、步骤211：缓存crnn车牌识别结果数据。

24、优选的，孪生数据生成模块的具体作业流程包括

25、步骤301：对每个摄像头进行标定，每个摄像头可视范围内标记四个实际位置的不少于四个点计算，计算好的标定矩阵用于像素点坐标系的目标，映射到实际的空间坐标系中；每个摄像头都是有各自的标定矩阵，同时可视范围m，盲区为n，摄像头之间的间隔距离为x，即x＝m+n。

26、步骤302：当前摄像头跟踪目标模块，主要针对当前可视范围内的目标进行坐标转换，利用标定运算，计算得到实际的孪生坐标位置；

27、步骤303：kalman预测模块，主要对当前摄像头盲区进行位置的预测，步骤302计算孪生坐标系实际位置，在视野范围内，都会进行更新kalman预测模块的位置，同时kalman预测模块负责在盲区实际位置的预测；

28、步骤304：下个摄像头根据下个摄像头的标定矩阵，计算下个摄像头的可视范围内的目标；

29、步骤305：当前一个摄像头kalman预测的目标超过当前的摄像头的总距离x时，该目标已经预测出现在下一个摄像头中，但是实际的下个摄像头中该目标还未出现，此时需要使得该预测速度减慢，等待该目标在下个摄像头中出现。

30、步骤306：当前摄像头kalman预测的目标还处在盲区时，此时下个摄像头的该目标已经出现，这时需要告知该目标的预测模块，需要加速该目标预测对象，加速追上下个摄像头该目标的位置。

31、本发明通过改进在此提供一种跨摄像头车辆跟踪及孪生数据生成方案，与现有技术相比，具有如下改进及优点：

32、其一：本发明通过reid特征提取模块和车牌识别模型，绑定上一个摄像头丢失的目标，实现了跨摄像头跟踪车辆等目标的方案，同时进行摄像头标定，预估模块根据上一步骤的跟踪结果生成孪生坐标系中目标的位置，生成相应的孪生目标数据；

33、其二：本发明解决了现有技术中，车辆跟踪验证只通过特征匹配，只依赖reid特征匹配进行相似度验证，对于光线变化和遮挡，跨摄像头跟踪的准确率较低的问题；以及无摄像头标定数据，无法实现孪生数据预测和轨迹预测的问题。