一种基于深度相机及单点激光实现机器人防跌落检测方法与流程

本发明属于机器人视觉处理，具体说是一种基于深度相机及单点激光实现机器人防跌落检测方法。

背景技术：

1、随着社会进步，技术不断发展，在人们的生活中智能机器人也充当了很重要的角色，各个公共场所都可以见到机器人的身影。有的应用场景比较好，只涉及一些人或物的避停、绕障的处理，有的应用场景则会存在楼梯、扶梯、凹坑的环境，这对于水平安装的底盘激光来说，是无法检测到的，因此机器人在该场景下作业时会存在安全隐患，需要通过外接的传感器设备来检测出楼梯这样的环境，停止机器人作业，并反馈危险状态，等待上位机逻辑处理。

2、传统的检测防跌落的方法是在机器人底盘安装防跌落检测传感器，通过模拟量信号计算距离，检测精度不够，会影响机器人急停效果，造成翻倒或跌落楼梯。

技术实现思路

1、本发明目的是提供一种基于深度相机及单点激光实现防跌落检测的方法，防止机器人在前进或后退时，因楼梯这种高度瞬变的环境，导致机器人行驶翻倒，造成损失。

2、本发明为实现上述目的所采用的技术方案是：一种基于深度相机及单点激光实现机器人防跌落检测方法，包括以下步骤：

3、1)在配送机器人上安装深度相机和激光传感器，并将深度相机和激光传感器与机器人主控制器连接，以实现在配送机器人行驶过程中，深度相机和激光传感器周期性循环采集环境数据并发送至机器人主控制器；

4、2)机器人主控制器分别接收到深度相机和激光传感器采集的环境数据，并分别对环境数据进行数据处理分析，判断配送机器人前方环境是否为跌落环境；

5、3)若处理后的深度相机采集数据或激光传感器采集数据中有一个判定为跌落环境，则判定配送机器人前方为跌落环境，并反馈当前机器人危险状态至后台服务器，后台服务器停止配送机器人作业；

6、4)若处理后的深度相机采集数据或激光传感器采集数据均判定不为跌落环境，配送机器人继续作业。

7、所述深度相机和激光传感器均安装在配送机器人顶部同一水平安装面上，且安装高度一致；

8、所述深度相机的视场方向和激光传感器的激光发射方向与配送机器人行进方向同向设置；

9、所述激光传感器沿斜向下照射，且激光传感器激光发射方向与水平面形成的夹角为45°；

10、所述深度相机安装角度为45°夹角且斜向下照射，所述深度相机的视场方向覆盖于配送机器人前方500m区域。

11、所述激光传感器为激光雷达探测模组，用于采集配送机器人前方环境的激光数据。

12、所述激光数据，包括：激光探测距离数据以及反射率数据。

13、步骤2)中，机器人主控制器接收到深度相机采集的环境数据进行数据处理分析，判断配送机器人是否处于跌落环境，具体为：

14、深度相机采集图像帧并读取深度信息，并将深度信息发送至机器人主控制器；

15、机器人主控制器将深度信息转换为相对于配送机器人中心的三维数据信息，即：

16、x＝contour[i].fx+camparam.hdis

17、y＝contour[i].fy+camparam.vdis

18、z＝contour[i].fz+camparam.zdis

19、其中，x、y、z为相对于机器人中心的坐标，contour[i].fx、contour[i].fy、contour[i].fz为第i个视觉数据的坐标值，camparam.hdis为深度相机摄像头安装位置的横向偏移量，camparam.vdis为深度相机摄像头安装位置的纵向偏移量，camparam.zdis为深度相机摄像头安装位置的凸出偏移量；

20、机器人主控制器根据机器人中心的三维数据信息中y坐标数据，判断y坐标数据，当y坐标数据大于设定的高度阈值，则判定检测到前方的环境为跌落环境，反之，继续机器人主控制器控制深度相机实时循环采集图像帧。

21、步骤2)中，机器人主控制器接收到激光传感器采集的环境数据进行数据处理分析，判断配送机器人前方环境是否为跌落环境，具体为：

22、激光传感器采集配送机器人前方环境的激光探测距离数据和反射率数据，并发送至机器人主控制器；

23、机器人主控制器根据预设的反射率区间，选取在满足预设的反射率区间内的相邻两个周期的激光探测距离数据进行作差，即：

24、temp＝dis[i]-dis[i-1]

25、其中，i为周期的次数，dis[i]为第i个周期的激光探测距离数据；

26、当连续设定n个周期内，激光探测距离数据差值temp均大于100mm，则判定配送机器人前方为跌落环境；反之，判定前方不为跌落环境，机器人主控制器继续控制激光传感器循环采集环境数据。

27、还包括：当跌落环境为楼梯环境，此时深度相机无法单独判定配送机器人前方环境，则机器人主控制器执行以下步骤：

28、楼梯环境的信息采集通过灰度图像与深度图像结合的方式处理得到，结合深度数据信息，当深度信息存在小于0的数时，采集当前帧楼梯的灰度图像，首先对灰度图像进行二值化处理，高斯滤波对图像进行模糊处理后，对灰度图像进行hough特征变换以提取环境中的线条和边缘；

29、经hough特征变换处理后得到多条重复的线条，根据楼梯的平行线特征及相互之间的距离标准，对线条进行坐标的比较和判断，进而完成对所提取到的线条的筛选和过滤，以提取出楼梯的线条轮廓信息；

30、基于灰度图像和深度图像信息的判断，当深度值存在大于高度阈值的情况下时，灰度图像存在符合楼梯特征的轮廓线时，认为前方为跌落环境。

31、本发明具有以下有益效果及优点：

32、1.本发明在机器人复杂应用场景下，防止机器人在前进或后退时，因楼梯这种高度瞬变的环境，导致机器人行驶翻倒，造成损失。

33、2.本发明利用深度信息和激光传感器循环采集处理的方式，采用二者其中之一对跌落环境进行判定，防止出现单一方式无法识别的状况。

34、3.本发明通过深度信息与灰度图像相结合的方式，大大增加了检测的精准性，防止出现利用深度信息和激光传感器均未检测到跌落环境的隐患。

1.一种基于深度相机及单点激光实现机器人防跌落检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度相机及单点激光实现机器人防跌落检测方法，其特征在于，所述深度相机和激光传感器均安装在配送机器人顶部同一水平安装面上，且安装高度一致；

3.根据权利要求1所述的一种基于深度相机及单点激光实现机器人防跌落检测方法，其特征在于，所述激光传感器为激光雷达探测模组，用于采集配送机器人前方环境的激光数据。

4.根据权利要求3所述的一种基于深度相机及单点激光实现机器人防跌落检测方法，其特征在于，所述激光数据，包括：激光探测距离数据以及反射率数据。

5.根据权利要求1所述的一种基于深度相机及单点激光实现机器人防跌落检测方法，其特征在于，步骤2)中，机器人主控制器接收到深度相机采集的环境数据进行数据处理分析，判断配送机器人是否处于跌落环境，具体为：

6.根据权利要求1所述的一种基于深度相机及单点激光实现机器人防跌落检测方法，其特征在于，步骤2)中，机器人主控制器接收到激光传感器采集的环境数据进行数据处理分析，判断配送机器人前方环境是否为跌落环境，具体为：

7.根据权利要求1所述的一种基于深度相机及单点激光实现机器人防跌落检测方法，其特征在于，还包括：当跌落环境为楼梯环境，此时深度相机无法单独准确判定配送机器人前方环境，则机器人主控制器执行以下步骤：