一种装载异形货物的货车数据挖掘方法及装置与流程

本发明涉及自动驾驶，尤其涉及的是一种装载异形货物的货车数据挖掘方法及装置。

背景技术：

1、在自动驾驶的研究过程中，环境感知任务模块被认为是重要组成模块；其通过模拟驾驶员人眼的功能，将自动驾驶场景中的诸多不同类型的目标识别并定位。这其中一个较为复杂的类型是货车。货车中又以装载异形货物的货车最复杂。此类型的目标不同于有货箱或封盖的普通货车，多以拖挂货物，皮卡等形式出现，所拉货物具有形状不规则、种类难分辨的特点；而且其形状往往在侧向或后方超过了传统边界框的标注范围，引起感知模型困惑，造成巨大的驾驶风险。因而本着发现问题、解决问题的思路，首先应该对此类目标进行数据挖掘，进而探究危险的规避之法。

2、目前针对装载异形货物的货车的数据挖掘包含下列几种方式：

3、1)使用模型检查。使用模型检查的情况又具体分为4种：使用开源大模型对所有数据逐一检查判断；使用开源大模型直接生成数据；训练目标检测模型输出对此类型目标的检测结果；训练针对此需求的专用大模型。已有的开源大模型的虽然在多模态和数据生成方面已取得显著成绩，但其对于特定场景、特定需求的数据要求仍差强人意。

4、2)使用逻辑筛选。现有的逻辑筛选方案通常受限于可用的参数范围(一般以尺寸、速度等作为参数)，因此，在准确性和召回率方面很难取得较好的平衡。

5、3)求助标注人员人工检查。完全依赖标注人员进行人工标注反而是目前被实践较多的方案。但是其缺点也是显而易见的：不同标注员对评判依据有自己的理解，因而不可避免地出现差异；同时，人工筛选费时费力，与日益增长的数据需求之间的矛盾越发突出，同时也与自动化、智能化的生产发展理念相违背。

6、因此，现有技术还有待改进。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种装载异形货物的货车数据挖掘方法及装置，以解决现有针对装载异形货物的货车的数据挖掘方案存在的准确性和召回率低的问题。

2、本发明解决技术问题所采用的技术方案如下：

3、第一方面，本发明提供装载异形货物的货车数据挖掘方法，包括：

4、获取图像数据，并根据所述图像数据对货车进行边缘检测，得到边缘检测结果；

5、获取激光雷达点云数据，并根据所述激光雷达点云数据对所述货车进行点云聚类，得到所述货车的点云检测结果；

6、根据所述边缘检测结果和所述货车的点云检测结果对所述货车进行异形货物装载检测，输出装载异形货物的货车数据。

7、在一种实现方式中，所述获取图像数据，并根据所述图像数据对货车进行边缘检测，得到边缘检测结果，包括：

8、获取多路相机图像，得到所述图像数据；

9、通过目标检测模型对所述图像数据中的所有货车进行检测，得到各货车对应的目标检测结果；其中，所述目标检测结果包括：分类得分和定位信息；

10、对各货车逐个进行检查过滤，选择未遮挡的货车作为分割对象，在未遮挡的货车对应的图像上截取货车图像片段；

11、采用边缘提取的方法在所述货车图像片段上进行边缘提取，得到所述边缘检测结果。

12、在一种实现方式中，所述对各货车逐个进行检查过滤，选择未遮挡的货车作为分割对象，在未遮挡的货车对应的图像上截取货车图像片段，包括：

13、利用光流方法计算得到各货车在图像上的可见性因子；

14、对所述可见性因子大于0的货车进行片段提取，得到所述货车图像片段；其中，所述货车图像片段对应的提取范围为：沿着检测框的高度方向和宽度方向各延申指定倍数。

15、在一种实现方式中，所述采用边缘提取的方法在所述货车图像片段上进行边缘提取，得到所述边缘检测结果，包括：

16、确定所述货车图像片段上的拉普拉斯算子的最大值位置；

17、根据确定的最大值位置在所述货车图像片段上进行边缘提取，并计算边缘外包络矩形面积与内部像素点面积的比值；

18、将所述比值的倒数设为规则性因子，并根据所述可见性因子和所述规则性因子计算得到所述边缘检测结果。

19、在一种实现方式中，所述获取激光雷达点云数据，并根据所述激光雷达点云数据对所述货车进行点云聚类，得到所述货车的点云检测结果，包括：

20、获取所述激光雷达点云数据；

21、基于密度型dbscan聚类方式对所述货车对应的目标检测框内及附近的激光雷达点云进行聚类，得到所述货车的点云检测结果。

22、在一种实现方式中，所述基于密度型dbscan聚类方式对所述货车对应的目标检测框内及附近的激光雷达点云进行聚类，得到所述货车的点云检测结果，包括：

23、对所述货车对应的目标检测框在长、宽、高三个方向上各扩大预设倍数；

24、将扩大后的目标检测框包络的点云变换到目标坐标系下，并对包络进入的点云进行聚类，获得所述货车对应的点云簇；

25、根据所述货车对应的点云簇，对货车尾部的沿长度方向预设值的范围进行切片处理，并根据预设分辨率在切片内进行体素化划分；

26、计算体素体积与点云簇外包络长方体的体积比，将切片内点云簇占据的体素数量乘以所述体积比，并根据计算得到的乘积进行货车点云检测，得到所述货车的点云检测结果。

27、在一种实现方式中，所述根据所述边缘检测结果和所述货车的点云检测结果对所述货车进行异形货物装载检测，输出装载异形货物的货车数据，包括：

28、根据相机的数量和激光雷达的线束设置异形货物装载检测的权重比；

29、根据所述边缘检测结果和所述货车的点云检测结果，利用所述权重比计算得到所述货车装载异形货物的最终得分；

30、将所述最终得分与预设分值进行对比，并根据对比结果输出所述装载异形货物的货车数据。

31、第二方面，本发明提供一种装载异形货物的货车数据挖掘装置，包括：

32、边缘检测模块，用于获取图像数据，并根据所述图像数据对货车进行边缘检测，得到边缘检测结果；

33、点云检测模块，用于获取激光雷达点云数据，并根据所述激光雷达点云数据对所述货车进行点云聚类，得到所述货车的点云检测结果；

34、异形货物装载检测模块，用于根据所述边缘检测结果和所述货车的点云检测结果对所述货车进行异形货物装载检测，输出装载异形货物的货车数据。

35、第三方面，本发明提供一种终端，包括：处理器以及存储器，所述存储器存储有装载异形货物的货车数据挖掘程序，所述装载异形货物的货车数据挖掘程序被所述处理器执行时用于实现如第一方面所述的装载异形货物的货车数据挖掘方法的操作。

36、第四方面，本发明还提供一种介质，所述介质为计算机可读存储介质，所述介质存储有装载异形货物的货车数据挖掘程序，所述装载异形货物的货车数据挖掘程序被处理器执行时用于实现如第一方面所述的装载异形货物的货车数据挖掘方法的操作。

37、本发明采用上述技术方案具有以下效果：

38、本发明通过获取图像数据，并根据图像数据对货车进行边缘检测，可得到边缘检测结果；以及通过获取激光雷达点云数据，并根据激光雷达点云数据对货车进行点云聚类，可得到货车的点云检测结果；最后，根据边缘检测结果和货车的点云检测结果对货车进行异形货物装载检测，即可输出装载异形货物的货车数据；本发明可自动挖掘自动驾驶过程中的装载异形货物的货车数据，提高了装载异形货物的货车数据的挖掘准确率，降低了装载异形货物的货车数据的挖掘成本。