一种基于人工智能的驾驶员注意力监测方法和系统与流程

本发明涉及驾驶安全的，尤其涉及一种基于人工智能的驾驶员注意力监测方法和系统。

背景技术：

1、随着智能驾驶技术的迅速发展以及汽车保有量的不断增加，驾驶员状态监测技术在提高驾驶安全性、降低交通事故发生率具有重要意义，特别是在长时间驾驶以及复杂的道路环境中，可以通过对驾驶员注意力的实时监测，及时发现潜在的危险行为并进行预警，确保行车安全。

2、目前，常用的驾驶员注意力监测方法主要依赖于摄像头对驾驶员面部表情或眼部状态的持续拍摄，并使用基于规则或传统的机器学习方法对拍摄数据进行分析。但大多数监测方法都是基于静态图像，往往只能检测到某一时刻驾驶员的注意力状态，而不涉及驾驶员在时间序列中的注意力变化，容易出现误判或漏判，无法准确识别持续性的注意力分散问题。

3、此外，现有的许多监测方法仅关注驾驶员面部的或眼部区域，而驾驶员注意力不集中时外在表现特征多样，需要引入更多信息以提高监测结果准确性。例如，驾驶员头部的姿态变化信息，包括但不限于水平旋转、俯仰、侧倾等，都可以为判断驾驶员是否集中注意力提供重要依据。

4、因此，建立一套可更加精准地识别驾驶员注意力状态的监测方法是当前智能驾驶领域的研究重点之一。

技术实现思路

1、有鉴于此，本发明提供了一种基于人工智能的驾驶员注意力监测方法和系统，目的在于通过分析驾驶员头部姿态的连续变化，更加准确地识别出注意力分散的行为。

2、为了实现上述目的，本发明公开的一种基于人工智能的驾驶员注意力监测方法，包括以下步骤：

3、s1：对采集到的驾驶员正面图像进行方向直方图特征提取以及支持向量机分类，获得驾驶员面部区域的外接矩形坐标，根据外接矩形坐标得到驾驶员面部区域图像；

4、s2：通过边缘检测提取驾驶员面部区域图像中的面部轮廓，使用模板匹配算法定位并检测驾驶员面部区域图像中的眼睛区域和嘴巴区域，并输出左眼、右眼和嘴巴的中心位置坐标；

5、s3：根据左眼、右眼和嘴巴的中心位置坐标，利用几何关系计算驾驶员头部的水平旋转角度、俯仰角度和侧倾角度；

6、s4：基于驾驶员头部的水平旋转角度、俯仰角度和侧倾角度构建注意力区域分类模型，获得驾驶员的注意力区域；包括：

7、构建注意力区域分类模型，获得驾驶员的注意力区域，所述注意力区域分类模型将驾驶员头部的水平旋转角度、俯仰角度和侧倾角度分别映射到不同的注意力区域，映射公式如下：；

8、式中，和分别为水平旋转角度和俯仰角度的前方区域阈值；为侧向注视阈值；为下方注视阈值；为上方注视阈值；分别代表注意力区域为前方、左侧、右侧、下方、上方和其他区域；

9、s5：使用人工智能驱动的长短时记忆网络处理驾驶员头部的水平旋转角度、俯仰角度和侧倾角度以及驾驶员的注意力区域，监测注意力分散，输出监测结果。

10、优选地，所述步骤s1包括以下步骤：

11、s11：提取采集到的驾驶员正面图像的方向直方图特征：

12、对采集到的驾驶员正面图像计算每一个像素的水平方向梯度和垂直方向梯度；

13、基于水平方向梯度和垂直方向梯度计算梯度幅值和梯度角，计算公式如下：

14、；

15、；

16、式中，为像素位置；和分别为驾驶员正面图像在像素位置处水平方向梯度的梯度值和垂直方向梯度的梯度值；为梯度幅值在像素位置处的梯度幅值；为梯度角在像素位置处的角度值，梯度角表示梯度方向相对于水平方向的角度，范围为；

17、将驾驶员正面图像划分为多个不重叠的图像块，图像块的大小为，在每个图像块内，将每个像素的梯度角分配到相应的方向区间中，为图像块中的像素位置，所述方向区间将角度范围分成个等间隔的方向区间；当完成分配后，将对应的进行求和获得每个图像块的方向直方图，计算公式如下：

18、；

19、式中，为维矢量，表示第个图像块的方向直方图第维的值；，为图像块总数；；为第个图像块中包含的像素位置集合；为第个方向区间；为梯度角在像素位置处的角度值；判断  的值是否在第个方向区间中，如果是则为1，否则为0；为梯度幅值在像素位置处的梯度幅值；

20、s12：使用支持向量进行面部区域分类：

21、输入每个图像块的方向直方图特征至预先训练好的支持向量机，用于对对应图像块进行面部区域分类，若该图像块被分类为存在面部区域，则记录该图像块的左上角像素位置和右下角像素位置；

22、对所有图像块完成面部区域分类后，在所有被分类为存在面部区域的图像块中，选择左上角水平方向坐标和垂直方向坐标同时达到最小的像素位置作为驾驶员面部区域的外接矩形的左上角坐标，选择右下角水平方向坐标和垂直方向坐标同时达到最大的像素位置作为驾驶员面部区域的外接矩形的右下角坐标；

23、根据驾驶员面部区域的左上角坐标和右下角坐标裁剪驾驶员正面图像，得到驾驶员面部区域图像。

24、优选地，所述步骤s2包括以下步骤：

25、s21：进行canny边缘检测：

26、应用canny边缘检测算法，提取步骤s1中得到的驾驶员面部区域图像的边缘图像，即为面部轮廓；

27、s22：使用眼睛形状模板进行眼睛区域检测，输出边缘图像中左眼和右眼的中心位置坐标；

28、s23：使用嘴巴形状模板进行嘴巴区域检测，输出边缘图像中嘴巴的中心位置坐标。

29、进一步优选地，所述步骤s22包括以下步骤：

30、s221：眼睛形状模板匹配：

31、利用眼睛形状模板进行匹配，所述眼睛形状模板为预先采集的驾驶员左眼和右眼图像经过canny边缘检测算法处理后取平均值获得的图像，通过滑动窗口方法计算边缘图像中每一个像素位置的眼睛匹配分数，计算公式如下：

32、；

33、式中，为集合中的元素，为眼睛形状模板中包含的像素位置集合；为边缘图像在像素位置处的像素值；为眼睛形状模板在像素位置处的像素值；

34、s222：确定眼睛区域：

35、通过最大化边缘图像左上四分之一图像块范围内的眼睛匹配分数，确定边缘图像中左眼的中心位置坐标；通过最大化边缘图像右上四分之一图像块范围内的眼睛匹配分数，确定边缘图像中右眼的中心位置坐标。

36、进一步优选地，所述步骤s23包括以下步骤：

37、s231：嘴巴形状模板匹配：

38、利用嘴巴形状模板进行匹配，所述嘴巴形状模板为预先采集的驾驶员嘴巴图像经过canny边缘检测算法处理后获得的图像，通过滑动窗口方法计算边缘图像中每一个像素位置的嘴巴匹配分数，计算公式如下：

39、；

40、式中，为集合中的元素，为嘴巴形状模板中包含的像素位置集合；为边缘图像在像素位置处的像素值；为嘴巴形状模板在像素位置处的像素值；

41、s232：确定嘴巴区域：

42、通过最大化边缘图像下方二分之一图像块范围内的嘴巴匹配分数，确定边缘图像中嘴巴的中心位置坐标。

43、优选地，所述步骤s3包括以下步骤：

44、s31：计算水平旋转角度：

45、根据左眼和右眼在水平方向上的位置计算驾驶员头部的水平旋转角度，计算公式如下：

46、；

47、式中，为拍摄驾驶员正面图像的相机的焦距；

48、s32：计算俯仰角度：

49、根据双眼和嘴巴在垂直方向上的位置计算驾驶员头部的俯仰角度，计算公式如下：

50、；

51、s33：计算侧倾角度：

52、根据双眼在垂直方向及水平方向上的位置计算驾驶员头部的侧倾角度，计算公式如下：

53、。

54、优选地，所述步骤s5包括以下步骤：

55、s51：构建长短时记忆网络的输入序列：

56、使用步骤s3获得的驾驶员头部的水平旋转角度、俯仰角度和侧倾角度以及步骤s4获得的注意力区域作为长短时记忆网络的输入数据，长短时记忆网络每个时间步的输入特征向量为，特征向量公式如下：

57、；

58、式中，为时间步，每一个时间步均会拍摄一次驾驶员正面图像，和分别为第个时间步拍摄的驾驶员正面图像所对应的水平旋转角度、俯仰角度、侧倾角度和注意力区域；

59、长短时记忆网络基于长度为的时间窗口中包含的特征向量序列作为输入，特征向量序列公式如下：

60、；

61、式中，为第个时间步的输入特征向量序列；

62、s52：构建长短时记忆网络：

63、将输入至长短时记忆网络后，得到的输出为隐藏状态，并通过一个全连接层和激活函数将隐藏状态映射为二分类输出；

64、s53：训练长短时记忆网络：

65、使用二分类交叉熵损失函数训练长短时记忆网络，训练公式如下：

66、；

67、式中，为训练样本的个数；；为第个训练样本在第个时间步的真实标签，为1或0，1代表注意力分散，0代表注意力集中，由人工标注得到；为长短时记忆网络输出的第个训练样本在第个时间步驾驶员注意力分散概率；

68、使用随机梯度下降方法训练长短时记忆网络的参数以最小化损失函数，得到训练好的长短时记忆网络；

69、s54：应用训练完成的长短时记忆网络：

70、使用训练好的长短时记忆网络对实时数据进行判定，输出每个时间步的注意力判定结果，如果在连续多个时间步上均判定为注意力分散，则判定驾驶员目前处在注意力分散状态。

71、本发明还公开了一种基于人工智能的驾驶员注意力监测系统，包括：

72、面部区域提取模块：对采集到的驾驶员正面图像进行方向直方图特征提取以及支持向量机分类，获得驾驶员面部区域的外接矩形坐标，根据外接矩形坐标得到驾驶员面部区域图像；

73、眼嘴定位监测模块：通过边缘检测提取驾驶员面部区域图像中的面部轮廓，使用模板匹配算法定位并检测驾驶员面部区域图像中的眼睛区域和嘴巴区域，并输出左眼、右眼和嘴巴的中心位置坐标；

74、头部姿态估计模块：根据左眼、右眼和嘴巴的中心位置坐标，利用几何关系计算驾驶员头部的水平旋转角度、俯仰角度和侧倾角度；

75、注意力区域提取模块：基于驾驶员头部的水平旋转角度、俯仰角度和侧倾角度构建注意力区域分类模型，获得驾驶员的注意力区域；

76、监测判定模块：使用人工智能驱动的长短时记忆网络处理驾驶员头部的水平旋转角度、俯仰角度和侧倾角度以及驾驶员的注意力区域，监测注意力分散，输出监测结果；

77、通过该系统实现上述基于人工智能的驾驶员注意力监测方法。

78、有益效果：

79、本发明通过结合方向直方图特征提取、支持向量机分类、模板匹配等多种先进的图像处理技术，能够准确提取出驾驶员面部特征并精确识别眼睛和嘴巴区域，在此基础上进一步利用几何关系计算得到驾驶员的头部姿态变化情况，使得系统不仅可以识别驾驶员是否注视前方，还能通过分析头部的旋转角度、俯仰角度及侧倾角度来判断驾驶员的注意力分散状态，这种多维度的分析大大提高了驾驶员注意力监测的精度，减少了误判。

80、本发明利用人工智能驱动的长短时记忆网络进行基于时序信息的深度分析，不仅仅是对单一时刻的驾驶员状态进行判断，还能通过对一段时间内驾驶员头部姿态和注意力区域的变化进行连续分析，捕捉到驾驶员注意力在时间序列中的变化，精准识别出持续的注意力分散行为，从而有效减少单帧图像分析带来的误报，提升系统在长时间驾驶中的监测效果。

81、本发明通过对驾驶员头部姿态的多维度分析，有效避免了由于驾驶员自然的头部运动或简单的姿态调整导致的误报，此外，使用基于长短时记忆的时间序列分析，能够识别出短暂的非注意力分散行为，如查看后视镜或侧视交通情况，避免系统过于敏感；本发明方法在复杂光照条件下和存在一定遮挡的情况下依然能保持稳定的监测效果，使得驾驶员监测系统在实际应用中更加实用且可靠，适应复杂驾驶环境。