驾驶员的专注度评估方法、装置、计算机设备和存储介质与流程

本技术涉及图像处理，特别是涉及驾驶员的专注度评估方法、装置、计算机设备和存储介质。

背景技术：

1、在行驶过程中，驾驶员注意力的集中程度直接影响到驾驶的安全性，而长期驾驶、缺乏睡眠驾驶或身体不适等情况常会导致驾驶员注意力不集中，降低驾驶安全性。

2、为了解决上述问题，在现有的驾驶员状态检测方法中，需要获取驾驶员的面部表情信息、身体动作信息以及健康指标信息等多项状态信息，综合各项状态信息来判断驾驶员的驾驶状态。但对于普通交通工具而言，其内部硬件设施无法满足上述方法中的采集需求，从而无法对驾驶员注意力进行准确与全面的评估。

3、针对相关技术中存在无法对驾驶员注意力进行准确与全面的评估的问题，目前还没有提出有效的解决方案。

技术实现思路

1、在本实施例中提供了一种驾驶员的专注度评估方法、装置、计算机设备和存储介质，以解决相关技术中无法对驾驶员注意力进行准确与全面的评估的问题。

2、第一个方面，在本实施例中提供了一种驾驶员的专注度评估方法，所述方法包括：

3、对驾驶员的每帧头肩图像进行检测，得到所述驾驶员的头部姿态角数据，生成各所述头部姿态角数据对应的头部姿态角特征图；

4、获取与每帧所述头肩图像对应的当前载具的第一姿态角数据，生成各所述第一姿态角数据对应的载具姿态角特征图；

5、从每帧所述头肩图像中提取所述驾驶员的第一双目图像，生成各所述第一双目图像对应的凝视点特征图；

6、将所述头部姿态角特征图、所述载具姿态角特征图和所述凝视点特征图进行多模态特征融合，基于融合结果对所述驾驶员的专注度进行评估，得到所述驾驶员的专注度等级。

7、在其中的一些实施例中，所述对驾驶员的每帧头肩图像进行检测，得到所述驾驶员的头部姿态角数据，包括：

8、获取所述驾驶员的多帧所述头肩图像；

9、通过约束局部神经域模型，对每帧所述头肩图像中的人脸特征点进行检测，得到所述驾驶员的头部姿态角数据。

10、在其中的一些实施例中，所述生成各所述头部姿态角数据对应的头部姿态角特征图，包括：

11、获取每个所述头部姿态角数据中的头部俯仰角、头部横滚角和头部偏航角；

12、生成各所述头部俯仰角对应的第一累积直方图、各所述头部横滚角对应的第二累积直方图以及各所述头部偏航角对应的第三累积直方图；

13、将所述第一累积直方图、所述第二累积直方图和所述第三累积直方图进行整合处理，得到所述头部姿态角特征图。

14、在其中的一些实施例中，所述生成各所述第一姿态角数据对应的载具姿态角特征图，包括：

15、获取每个所述第一姿态角数据中的载具俯仰角、载具横滚角和载具偏航角；

16、生成各所述载具俯仰角对应的第四累积直方图、各所述载具横滚角对应的第五累积直方图以及各所述载具偏航角对应的第六累积直方图；

17、将所述第四累积直方图、所述第五累积直方图和所述第六累积直方图进行整合处理，得到所述载具姿态角特征图。

18、在其中的一些实施例中，所述生成各所述第一双目图像对应的凝视点特征图，包括：

19、将每个所述第一双目图像进行标准化处理，得到对应的第二双目图像；

20、通过卷积神经网络对每个所述第二双目图像进行处理，得到对应的第一凝视向量；

21、将所述第一凝视向量从世界坐标系转换至摄像机坐标系，得到第二凝视向量；

22、确定与每个所述第二凝视向量对应的所述驾驶员在虚拟视界上的凝视点，生成各所述凝视点对应的所述凝视点特征图。

23、在其中的一些实施例中，所述将每个所述第一双目图像进行标准化处理，得到对应的第二双目图像，包括：

24、将每个所述第一双目图像中双眼中心点到摄像机中心点的第一距离进行标准化，根据标准化后的所述第一距离和所述双眼中心点的坐标，确定对应的缩放矩阵；

25、基于所述第一双目图像从摄像机坐标系转换至世界坐标系的转换过程，以及所述缩放矩阵，确定摄像机转化矩阵；

26、根据所述摄像机转化矩阵和所述摄像机的真实相机参数、虚拟相机参数，确定目标转化公式；

27、基于所述目标转化公式对所述第一双目图像进行转化处理，得到所述第二双目图像。

28、在其中的一些实施例中，所述将所述头部姿态角特征图、所述载具姿态角特征图和所述凝视点特征图进行多模态特征融合，基于融合结果对所述驾驶员的专注度进行评估，得到所述驾驶员的专注度等级，包括：

29、基于时间维度，将所述头部姿态角特征图、所述载具姿态角特征图和所述凝视点特征图进行堆叠，得到多模态融合特征图；

30、将所述多模态融合特征图输入至专注度分类模型进行处理，得到所述驾驶员的专注度等级。

31、在其中的一些实施例中，所述将所述多模态融合特征图输入至专注度分类模型进行处理，得到所述驾驶员的专注度等级，包括：

32、将所述多模态融合特征图进行一维化；

33、对一维化后的所述多模态融合特征图进行特征提取，得到专注度特征量；

34、对所述专注度特征量进行分类，得到所述驾驶员的专注度等级。

35、第二个方面，在本实施例中提供了一种驾驶员的专注度评估装置，所述装置包括：第一生成模块、第二生成模块、第三生成模块以及评估模块；

36、所述第一生成模块，用于对驾驶员的每帧头肩图像进行检测，得到所述驾驶员的头部姿态角数据，生成各所述头部姿态角数据对应的头部姿态角特征图；

37、所述第二生成模块，用于获取与每帧所述头肩图像对应的当前载具的第一姿态角数据，生成各所述第一姿态角数据对应的载具姿态角特征图；

38、所述第三生成模块，用于从每帧所述头肩图像中提取所述驾驶员的第一双目图像，生成各所述第一双目图像对应的凝视点特征图；

39、所述评估模块，用于将所述头部姿态角特征图、所述载具姿态角特征图和所述凝视点特征图进行多模态特征融合，基于融合结果对所述驾驶员的专注度进行评估，得到所述驾驶员的专注度等级。

40、第三个方面，在本实施例中提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的驾驶员的专注度评估方法。

41、第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的驾驶员的专注度评估方法。

42、与相关技术相比，在本实施例中提供的驾驶员的专注度评估方法、装置、计算机设备和存储介质，通过对驾驶员的每帧头肩图像进行检测，得到驾驶员的头部姿态角数据，生成各头部姿态角数据对应的头部姿态角特征图；获取与每帧头肩图像对应的当前载具的第一姿态角数据，生成各第一姿态角数据对应的载具姿态角特征图；从每帧头肩图像中提取驾驶员的第一双目图像，生成各第一双目图像对应的凝视点特征图；将头部姿态角特征图、载具姿态角特征图和凝视点特征图进行多模态特征融合，基于融合结果对驾驶员的专注度进行评估，得到驾驶员的专注度等级，解决了无法对驾驶员注意力进行准确与全面的评估的问题，实现了对驾驶员注意力进行准确与全面的评估，同时降低了对实际载具的硬件设备要求。

43、本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。