一种基于NRTK和视觉信息的巡检车定位系统

本发明涉及定位系统，尤其涉及一种基于nrtk和视觉信息的巡检车定位系统。

背景技术：

1、路内停车场的巡检车需要长时间在停车区域进行巡逻，随时拍摄停车场内的停车情况，以生成计费信息。由于巡检车需要记录停车位置与时长，因此其自身的定位功能至关重要。

2、现有较高精度的巡检车定位手段或者依靠特制设备、或者依靠多种传感器共同工作。在特制设备方面，目前有使用蓝牙信标、嵌入式金属车位牌、rfid电子标签以及车位二维码的方法。这些方法将具有信号发射或者唯一标识特征的特制设备与路内停车场泊位提前绑定，在巡检车路过停车位时由该设备发射信号，或者巡检车检测该设备的信号或者特征，完成对车位的识别以及自身位置的估计。依靠多种传感器的定位方法则是将多种具有较高精度的传感器，例如惯性测量单元、激光雷达或者高精度gps信号接收器所采集的信息同步处理，共同估计巡检车的位置。

3、在依靠特制设备的巡检车定位方法中，需要生产并安装大量的蓝牙信标、嵌入式金属车位牌、rfid电子标签等，甚至可能需要对现有路面进行一定程度的改造，这带来了高昂的使用成本，但是这种定位方式如果要提高精度，则需要依赖较高精度的传感器，如精确的惯性测量单元、高精度激光雷达或者高精度gps信号接收器，这些高精度设备往往造价昂贵，或者需要连续租赁服务(例如高精度gps定位服务)，大大提高了巡检车的制造成本，进而降低巡检车的经济收益。

技术实现思路

1、本发明的目的在于提供一种基于nrtk和视觉信息的巡检车定位系统，能够确保巡检车高精度定位的同时，减低巡检车的运营成本，提高经济收益。

2、本发明公开的一种基于nrtk和视觉信息的巡检车定位系统所采用的技术方案是:

3、一种基于nrtk和视觉信息的巡检车定位系统，包括先验建图子系统和视觉slam定位子系统，所述先验建图子系统先运行，在获得点云地图后，再运行所述视觉slam定位子系统，所述视觉slam定位子系统运行前会一次性加载全部的点云地图信息；

4、所述先验建图子系统的输入数据是图像以及图像对应的nrtk位置信息，nrtk提供的是精确的全球经纬度坐标，可以通过地心地固坐标系转换为空间三维坐标，图像与其对应的nrtk位置信息可以共同进行带约束的运动结构恢复，从而获得图像的位置、姿态以及空间点云地图，至此先验建图子系统完成工作；

5、所述视觉slam定位子系统根据实时采集的图像信息，利用所述视觉slam技术构建自身的连续位置、姿态估计，同时根据点云地图确定当前所在地图的位置，提供给所述视觉slam共同约束位置和姿态估计，在所述视觉slam子系统进行时，还会间隔性将图像传至云端服务器；

6、所述云端服务器中的clip模型计算图像的clip空间表征向量，并与所经过路径上的关键地点文本描述进行对比，以提供粗略的地理位置观测。

7、作为优选方案，所述点云地图的构建需要使用运动结构恢复技术，视为一个以最小化所有图像重投影误差的优化任务，优化的目标是获得n个空间点，假设为其中将一个空间点pi映射到位于初始位姿的相机的二维图像点映射关系为：

8、

9、其中是一个由相机物理属性所决定的矩阵，当空间点pi映射到一个姿态为位置为的相机视角下点那么映射关系是：

10、

11、其中是pi经过空间变化后的z轴坐标的倒数，当一个空间点被m个相机观测到，那么m个相机的姿态位置参数会形成互相约束关系，最后只需要构建一个优化目标完成非线性优化：

12、

13、其中是pi映射到第j个相机上的实际坐标，此外，由于单目视觉无法恢复深度，因此一般不优化的准确值，而是将其看作一种比例：将枢纽帧的看作是1，其他帧深度为其倍数，因为要恢复包含n个地图点的地图，因此最终的优化目标为：

14、

15、并不是从随机参数开始优化，而是先使用特征点跟踪、对极几何、三角化等手段获取粗略的初始值，从初始值开始优化，

16、需要增加额外的绝对位置信息，假设目前已经通过nrtk信号或者实际测量获得了l个相机的精确位置信息此时可以将优化目标修改为：

17、

18、最后的优化结果中构成稀疏的点云地图，也可以在后续地图使用时，为部分情况提供定位参考。

19、作为优选方案，所述nrtk获取的位置信息是使用经度、纬度和海拔表示，建图方法在笛卡尔坐标系下进行，因此，需要将地球经纬度、海拔坐标转换为笛卡尔系坐标，选用的笛卡尔系为地心地固坐标系，在地心地固坐标系中，地球的质心位于原点，z轴指向地球自转轴北极方向，x轴位于赤道平面内，指向本初子午线，而y轴则垂直于xz平面，向东，构成一个右手坐标系，在该坐标系中，地球的自转导致所有地面点的位置在三维空间中是固定的，称为地固，即地球上的任何一个固定点在该坐标系下的坐标不会随时间变化；

20、在地心地固坐标系中，任何一点的位置可以用x、y、z三个坐标值来表示，具体地，地球表面或其附近某点的纬度φ、经度λ和海拔高度h，可以通过特定的转换公式将这些地理坐标转换为地心地固坐标系标，计算该点所在位置的卯酉圈半径n，公式为：

21、

22、其中，a是地球的长半轴，e是地球的第一偏心率，其计算公式为：

23、

24、b是地球的短半轴，通过以下公式将地理坐标转换为地心地固坐标系标：

25、

26、每个tj都可以表示为[x，y，z]t。

27、作为优选方案，在所述视觉slam定位子系统中，加入能够描述图像全局的特征，所述图像的全局特征可以通过聚合局部特征的方式获得，一张图像获得了n个维度为d的描述子可以首先对这n个描述子进行聚类，获得k个聚类中心图像的整体特征为那么v的计算方式为：

28、

29、其中v(k)表示整体特征中的第k个向量，αk(xi)是一个指示函数，如果xi的聚类中心为ck，则αk(xi)＝1，否则为αk(xi)＝0。v是一种聚合局部描述符向量，使用从神经网络中学习到的向量替代聚类得到的聚类中心此外由于αk(xi)是一个不可导的函数，无法进行参数学习，因此需要对其进行如下修改：

30、

31、其中wk，bk为学习参数，这种修改实际上是用连续的概率函数替代了原有的指示函数，因此新的vlad计算方式为：

32、

33、在同时有全局特征和局部特征后，首先根据全局特征从地图中检索出最接近的图像，然后根据局部特征进行精确定位。

34、作为优选方案，所述clip模型主要被用来进行地图定位的语言增强功能：在巡检车行驶过程中采集图片，并将图片传至云端服务器使用clip模型计算其特征向量；同时使用clip模型计算路径文本数据库中每一条文本的特征向量，进行相关性计算，根据相关性得分来判断当前巡检车是否行驶到某一个标志性位置；如果是，则提供位置附近的坐标信息来辅助定位，否则正常进行纯视觉定位。

35、作为优选方案，所述路径文本数据库是一个巡检车巡检路线的文本描述数据库，其包含若干条人类指定的自然语言来表示路线上的关键位置，统称为路径文本，并且会为每一条路径文本分配一个地理坐标。

36、本发明公开的一种基于nrtk和视觉信息的巡检车定位系统的有益效果是：本系统主要包含两个主要子系统：先验建图子系统和视觉slam定位子系统，先验建图子系统通过收集图片信息和nrtk的高精度定位信息，借助运动结构恢复技术生成高精度的路内停车场地图；视觉slam定位子系统在巡检车巡逻时实时根据图像和地图确定自身位置，先验建图子系统只需要运行一次，其结果可以长期被视觉slam定位子系统使用，所以nrtk相关服务不需要持续租赁，并且本系统所涉及的多个传感器不需要精确标定，具有成本低，实现简单、精度较高的特点。