基于视觉SLAM系统的地图更新方法、系统、设备、介质及产品

本申请涉及机器人视觉，特别是涉及一种基于视觉slam系统的地图更新方法、系统、设备、介质及产品。

背景技术：

1、同时定位与建图(simultaneous localization andmapping，slam)系统利用传感器输入的数据，实时计算机器人的相对位姿(位置和姿态)变换实现机器人的定位，并同时在机器人移动过程中增量式的构建所见场景的地图。随着科技的发展和进步，人类对机器人的需求在不断提升，目标是使机器人智能化，自动化，从而完成复杂的任务。自slam诞生以来，便受到广大研究者的关注，并将其视为解决机器人自主导航问题的一个重要途径。

2、根据所用的传感器不同可以分为视觉slam(visual simultaneous localizationandmapping，vslam)和激光slam。激光雷达传感器测量的距离准确，误差较小，在直射光外操作稳定，点云处理相对简单，但是由于自身价格昂贵、能耗较高等原因，难以实现广泛的商业化应用。相机具有成本低、图像信息丰富等优点，因此在几何机构相似的环境、处理回环检测等问题上表现良好。因此以相机为主要传感器的视觉slam获得了广泛关注并取得了一些进展，但仍面临着巨大的挑战。

3、现有的大部分vslam算法都是假设周围环境为静态的，直接忽视动态物体。但是在实际场景中，如运行的车辆、行走的人和动物等运动的物体，而运动的物体都会使vslam系统出现特征点误匹配等问题，最终导致系统出现定位精度差，无法在未知的动态环境中高效完成定位以及建图任务，导致系统跟踪失败甚至崩溃的情况。

技术实现思路

1、本申请的目的是提供一种基于视觉slam系统的地图更新方法、系统、设备、介质及产品，以解决现有vslam系统无法在未知的动态环境中高效完成定位以及建图任务，导致系统跟踪失败甚至崩溃的的问题。

2、为实现上述目的，本申请提供了如下方案：

3、第一方面，本申请提供了一种基于视觉slam系统的地图更新方法，包括：

4、利用动态目标剔除线程，基于深度神经网络的目标检测算法识别场景图像中的动态目标，并采用特征点运动概率传播方法剔除所述动态目标的特征点，保留所述场景图像中的静态特征点；

5、利用追踪线程，将所述静态特征点与局部地图中的静态点进行特征点匹配，并对每一帧场景图像进行跟踪，估计相机位姿以及所述局部地图中的路标点深度；

6、利用局部建图线程，基于所述路标点深度，优化所述局部地图中的路标点以及相机位姿，确定优化后的局部地图以及相机位姿图；

7、利用回环检测线程，基于dbow2模型检测回环，并通过执行所述相机位姿图，校正相机轨迹累计误差，确定优化后的相机位姿图；

8、利用全局ba线程，将所述优化后的局部地图与所述优化后的相机位姿图保持全局一致，更新所述优化后的局部地图，确定更新后的地图结构。

9、第二方面，本申请提供了一种基于视觉slam系统的地图更新系统，包括：

10、动态目标剔除线程，用于基于深度神经网络的目标检测算法识别场景图像中的动态目标，并采用特征点运动概率传播方法剔除所述动态目标的特征点，保留所述场景图像中的静态特征点；

11、追踪线程，用于将所述静态特征点与局部地图中的静态点进行特征点匹配，并对每一帧场景图像进行跟踪，估计相机位姿以及所述局部地图中的路标点深度；

12、局部建图线程，用于基于所述路标点深度，优化所述局部地图中的路标点以及相机位姿，确定优化后的局部地图以及相机位姿图；

13、回环检测线程，用于基于dbow2模型检测回环，并通过执行所述相机位姿图，校正相机轨迹累计误差，确定优化后的相机位姿图；

14、全局ba线程，用于将所述优化后的局部地图与所述优化后的相机位姿图保持全局一致，更新所述优化后的局部地图，确定更新后的地图结构。

15、第三方面，本申请提供了一种计算机设备，包括：存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述中任一项所述的基于视觉slam系统的地图更新方法。

16、第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述中任一项所述的基于视觉slam系统的地图更新方法。

17、第五方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述中任一项所述的基于视觉slam系统的地图更新方法。

18、根据本申请提供的具体实施例，本申请公开了以下技术效果：本申请利用动态目标剔除线程，基于深度神经网络的目标检测算法识别场景图像中的动态目标，通过特征点运动概率传播方法有效剔除动态目标的特征点(即动态特征点)，并设计了追踪线程、局部建图线程、回环检测线程以及全局光束法平差(bundleadjustment，ba)线程，基于保留的静态特征点与局部地图中静态点之间的匹配关系，更新局部地图以及相机的相机位姿图，最终确定更新后的地图结构。本申请将slam与基于深度神经网络的目标检测算法集成在一起，在执行slam任务时，系统只会根据场景中的静态物体进行定位与建图，从而能够在未知的动态环境中可靠高效地完成定位以及建图的任务，避免了因为相机采集的图像出现动态物体的情况时，导致slam系统跟踪丢失的问题，进而提高了slam系统的鲁棒性。

1.一种基于视觉slam系统的地图更新方法，其特征在于，所述基于视觉slam系统的地图更新方法包括：

2.根据权利要求1所述的基于视觉slam系统的地图更新方法，其特征在于，利用动态目标剔除线程，基于深度神经网络的目标检测算法识别场景图像中的动态目标，并采用特征点运动概率传播方法剔除所述动态目标的特征点，保留所述场景图像中的静态特征点，具体包括：

3.根据权利要求2所述的基于视觉slam系统的地图更新方法，其特征在于，更新所述关键帧中关键点对应的所述局部地图中路标点的运动概率，具体包括：

4.根据权利要求1所述的基于视觉slam系统的地图更新方法，其特征在于，通过特征匹配和匹配点扩展在所述局部地图中估计每个关键点的运动概率，具体包括：

5.根据权利要求1所述的基于视觉slam系统的地图更新方法，其特征在于，通过特征匹配和匹配点扩展在所述局部地图中估计每个关键点的运动概率，之后还包括：

6.根据权利要求5所述的基于视觉slam系统的地图更新方法，其特征在于，所述圆形区域内邻近关键点的运动概率为：

7.根据权利要求1所述的基于视觉slam系统的地图更新方法，其特征在于，估计相机位姿以及所述局部地图中的路标点深度，具体包括：

8.根据权利要求1所述的基于视觉slam系统的地图更新方法，其特征在于，利用局部建图线程，基于所述路标点深度，优化所述局部地图中的路标点以及相机位姿，确定优化后的局部地图以及相机位姿图，具体包括：

9.根据权利要求1所述的基于视觉slam系统的地图更新方法，其特征在于，利用回环检测线程，基于dbow2模型检测回环，并通过执行所述相机位姿图，校正相机轨迹累计误差，确定优化后的相机位姿图，具体包括：

10.根据权利要求1所述的基于视觉slam系统的地图更新方法，其特征在于，利用全局ba线程，将所述优化后的局部地图与所述优化后的相机位姿图保持全局一致，更新所述优化后的局部地图，确定更新后的地图结构，具体包括：

11.一种基于视觉slam系统的地图更新系统，其特征在于，包括：

12.一种计算机设备，包括：存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-10中任一项所述的基于视觉slam系统的地图更新方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-10中任一项所述的基于视觉slam系统的地图更新方法。

14.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-10中任一项所述的基于视觉slam系统的地图更新方法。