多传感器融合的地图生成方法、装置及可读存储介质与流程

本发明涉及一种基于多传感器融合的地图生成方法、装置及可读存储介质，属于计算机视觉。

背景技术：

1、现有自动化设备，如机器人、无人机和无人驾驶车辆未能在市场上普及，因为在某些复杂场景和极端环境下其自主驾驶和航行能力的稳定性和可靠性仍需进一步提升。虽然现有技术有采用slam技术对机器人、无人机和无人驾驶车辆进行性能提升的实施例，但是采用现有slam技术能够使得机器人、无人机仅能在室内或者特定的室外环境下的实现高精度的定位和行程规划。由于室外存在多种环境，如城市、乡村、山区等还包括各种不确定的突发状况干扰。使得自动化设备在在复杂和动态环境中行驶存在计算复杂度高、定位精度低、对环境变化敏感等问题导致自动化设备难以大范围推广。

2、因此，如何在这些挑战下实现高效、高精度和鲁棒的slam系统地图生成方法，是当前研究的一个重要方向。

技术实现思路

1、本发明提供一种基于多传感器融合的地图生成方法，通过多传感器数据融合和优化算法逐帧处理图像数据，提高了地图构建精度并采用优化算法和预处理方法消除误差数据及低精度数据，对重叠区域的图像进行特征识别和计算，解决现有地图生成方法存在的计算复杂度高、定位精度低、对环境变化敏感等问题。

2、为解决上述技术问题，本发明是采用下述技术方案实现的。

3、一种基于多传感器融合的地图生成方法，包括

4、获取具有重叠区域的多个图像数据；

5、对具有重叠区域的多个图像数据进行预处理，获得减少数据量的多个图像数据；

6、对减少数据量的多个图像数据的图像点云进行特征提取，获得各个图像的图像点云特征；

7、根据各个图像的图像点云特征进行描述子计算，获得各个图像的点云特征的位姿信息；

8、根据各个图像的点云特征的位姿信息计算出与重叠图像所关联的平移矩阵t与旋转矩阵r；

9、任一图像通过所关联的平移矩阵t与旋转矩阵r计算，得到任一图像与所重叠图像之间相对的点云平移向量和旋转向量；

10、基于任一图像与所重叠图像之间相对的点云平移向量和旋转向量进行点云坐标转换，获得任一图像与所重叠图像在相同坐标系下融合的点云坐标；

11、根据相同坐标系下融合的点云坐标对具有重叠区域的多个图像进行图像对齐，获得点云坐标对齐的多个图像；

12、基于点云坐标对齐的多个图像进行图像拼接和融合，获得整体地图。

13、可选的，获取具有重叠区域的多个图像数据还包括：

14、实时获取传感器的动态图像数据；

15、采用图优化方法对每帧图像进行优化，获得去除特征误差后的每帧图像；

16、将去除特征误差后的每帧图像导入词袋模型来进行回环检测，获得去除累计设备姿态误差的多帧图像；

17、根据预设的特征几何约束条件对去除累计设备姿态误差的多帧图像进行重叠区域判断，确定具有重叠区域的多个图像数据。

18、可选的，具有重叠区域的多个图像数据进行预处理，获得减少数据量的多个图像数据的方法包括：

19、根据体素滤波的方法遍历具有重叠区域的多个图像数据，获得多个图像分配有点云数据的体素网格；

20、对多个图像分配有点云数据的体素网格进行重心计算，获得每个图像所对应体素网格中的代表性点云数据；

21、对多个图像所对应体素网格中的代表性点云数据进行重采样，获得减少数据量的多个图像数据。

22、可选的，获得多个图像分配有点云数据的体素网格的表达式为：

23、

24、式中，分别为x，y，z轴上的最大值和最小值，l、w、h分别为体素网格长方体的长、宽和高；

25、在三个方向上分别以预设长度划分为体素栅格，最后长度未满的，按划分，则在x，y，z坐标轴上一共可以划分份，

26、

27、式中，分别为三维地图上的体素网格份数；至此，多个图像分配有点云数据的体素网格为个体素空间。

28、可选的，对多个图像分配有点云数据的体素网格进行重心计算，获得每个图像所对应体素网格中的代表性点云数据的表达式为：

29、

30、式中，n为体素空间内的点云个数，为数据点，为重心点。

31、可选的，对减少数据量的多个图像数据的图像点云进行特征提取，获得各个图像的图像点云特征的方法包括：

32、从减少数据量的多个图像数据的图像点云中，查找离散点云；

33、采用3d-harris求解离散点云的法线，并构造离散点云法线协方差矩阵；

34、根据离散点云法线协方差矩阵构建特征点响应函数；

35、从减少数据量的多个图像数据的图像点云导入特征点响应函数计算，获得点云中每个点的特征点响应值；

36、根据预设的特征点响应阈值对减少数据量的多个图像数据的图像点云进行特征提取，若大于预设的特征点响应阈值，同时为局部极大值点，则判定该点为图像点云的特征点，进而获得各个图像的图像点云特征。

37、可选的，根据各个图像的点云特征的位姿信息计算出与重叠图像所关联的平移矩阵t与旋转矩阵r的表达式为：

38、

39、式中：t为平移矩阵；r为旋转矩阵；和分别为任一图像与重叠图像的点云；

40、平移矩阵t与旋转矩阵r的约束条件表达式为：

41、

42、式中，为平移矩阵t与旋转矩阵r的约束条件最小值，n为任一图像中点云的总量，i为点云排列的序号。

43、可选的，基于点云坐标对齐的多个图像进行图像拼接和融合，获得整体地图还包括：

44、基于点云坐标对齐的第一个图像和与之重叠的任意一图像进行图像拼接和融合，获得初次融合图像；

45、基于点云坐标对齐的初次融合图像和与之重叠的任意一图像再次进行图像拼接和融合，获得二次融合图像；

46、循环上述步骤，直至获得整体融合图像并作为地图输出。

47、一种基于多传感器融合的地图生成装置，包括：

48、图像获取模块、图像预处理模块、特征与位姿计算模块、重叠图像转换模块以及图像融合模块；

49、所述图像获取模块用于获取具有重叠区域的多个图像数据；

50、所述图像预处理模块用于对具有重叠区域的多个图像数据进行预处理，获得减少数据量的多个图像数据；

51、所述特征与位姿计算模块对减少数据量的多个图像数据的图像点云进行特征提取，获得各个图像的图像点云特征；根据各个图像的图像点云特征进行描述子计算，获得各个图像的点云特征的位姿信息；

52、所述重叠图像转换模块用于根据各个图像的点云特征的位姿信息计算出与重叠图像所关联的平移矩阵t与旋转矩阵r；任一图像通过所关联的平移矩阵t与旋转矩阵r计算，得到任一图像与所重叠图像之间相对的点云平移向量和旋转向量；

53、所述图像融合模块用于基于任一图像与所重叠图像之间相对的点云平移向量和旋转向量进行点云坐标转换，获得任一图像与所重叠图像在相同坐标系下融合的点云坐标；根据相同坐标系下融合的点云坐标对具有重叠区域的多个图像进行图像对齐，获得点云坐标对齐的多个图像；基于点云坐标对齐的多个图像进行图像拼接和融合，获得整体地图。

54、一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时，实现上述的多传感器融合的地图生成方法的步骤。

55、与现有技术相比，本发明所达到的有益效果：

56、1、通过多传感器数据融合和优化算法逐帧处理图像数据，提高了地图构建精度并采用优化算法和预处理方法消除误差数据及低精度数据，对重叠区域的图像进行特征识别和计算，解决现有地图生成方法存在的计算复杂度高、定位精度低、对环境变化敏感等问题。

57、2、通过对多帧图像的特征优化、点云过滤，大量减少图像数据量提高了系统的实时性能。

58、3、对环境变化具有较强的适应能力，具有较好的鲁棒性，能够在复杂和动态环境中稳定工作。

59、4、装置采用模块化设计，便于扩展和维护。

60、5、具有较好的实用性，能够适用于自动驾驶、无人机导航、机器人定位和虚拟现实等多种应用场景。