一种基于多模态识别技术的司机疲劳状态识别方法与流程

本发明涉及司机疲劳状态识别，具体涉及一种基于多模态识别技术的司机疲劳状态识别方法。

背景技术：

1、基于多模态识别技术的司机疲劳状态识别是一种利用多种传感器和数据源来检测和评估司机疲劳状态的方法。这种技术结合了视觉、声音、生理信号等多种模态的数据，通过综合分析来判断司机是否处于疲劳状态。例如，视觉模态可以通过摄像头捕捉司机的面部表情、眼睑运动、头部姿态等信息；声音模态可以通过麦克风检测司机的语音特征，如语速减慢、音量降低等；生理信号模态则可以通过可穿戴设备获取司机的心率、脑电波、皮肤电反应等生理指标。通过融合这些不同模态的数据，可以更加准确地识别司机的疲劳状态，提供及时的警示和干预措施。

2、多模态识别技术的优势在于其数据源的多样性和综合性，能够弥补单一模态在疲劳检测中的不足。例如，视觉模态虽然可以提供直观的疲劳表现，但在光线不佳或司机佩戴墨镜等情况下可能失效；声音模态则可以补充视觉模态的不足，特别是在司机独自驾驶时更为有效；而生理信号模态则能够提供更加直接的疲劳生理反应，通过长时间监测司机的生理变化，进一步提高检测的准确性和可靠性。综上所述，基于多模态识别技术的司机疲劳状态识别能够通过多角度、多层次的数据分析，实现对司机疲劳状态的全面监测和精准识别，为道路交通安全提供重要的技术支持。

3、现有技术存在以下不足：

4、通过摄像头捕捉司机的眼睑运动来识别疲劳状态时，设置较低的帧率以减少系统计算负担和数据管理存储压力是常见的做法。然而，当司机存在疲劳驾驶时，保持低帧率对眼睑运动进行采集，可能无法高效检测疲劳状态下的眼睑运动，如眼睛闭合时间延长和频繁地眨眼，这些特征往往是瞬时发生的，如果摄像头的帧率太低，系统可能无法及时捕捉到这些关键瞬间，导致无法检测到司机的疲劳状态；例如，如果摄像头每秒仅捕捉十几帧，可能会错过司机快速眨眼或长时间闭眼的关键瞬间，从而漏判疲劳状态，当司机出现疲劳迹象时，系统需要更多时间来收集足够的眼睑运动数据进行分析，这种延迟可能导致预警系统无法及时发出警报，司机可能已经陷入危险的疲劳状态而未被提醒，增加了发生交通事故的风险。

5、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的是提供一种基于多模态识别技术的司机疲劳状态识别方法，通过深入分析提取的眼睑运动特征，并利用机器学习模型生成疲劳系数，能够在低帧率下有效监测和初步识别司机的疲劳状态，预防疲劳驾驶，识别出潜在疲劳后，系统自动提高摄像头帧率，增加数据捕捉精度，优化资源利用，增强检测灵敏度和准确性，随后，对详细数据进行综合分析，将疲劳状态划分为短暂型和持续型，对持续型疲劳状态发出预警，通知司机休息，提升预警准确性和整体交通安全，以解决上述背景技术中的问题。

2、为了实现上述目的，本发明提供如下技术方案：一种基于多模态识别技术的司机疲劳状态识别方法，包括以下步骤：

3、设置初始低频帧率，通过摄像头持续捕捉司机的面部图像，从而获得司机面部的连续图像数据，为后续的眼睑运动特征提取和分析提供基础；

4、利用图像处理技术，从捕捉到的面部图像中提取司机的眼睑运动特征，对提取的眼睑运动特征进行深入分析，根据分析结果，对司机的潜在疲劳状态进行初步识别；

5、初步识别出潜在疲劳状态后，自动调整摄像头的目标帧率，通过增加帧率，提高对司机眼睑运动特征的捕捉频率，获得更精细和准确的运动数据；

6、对提高帧率后获取的详细数据进行综合分析，全面评估司机的疲劳状态，在综合分析的基础上，将司机的疲劳状态进一步划分为短暂型和持续型，针对检测到的持续型疲劳状态，系统发出预警提示，通知司机停车休息。

7、优选的，利用眼睛定位图像处理技术，从捕捉到的面部图像中提取司机的眼睑运动特征，具体的步骤如下：

8、首先，使用人脸检测算法从捕捉到的面部图像中识别人脸区域，人脸检测算法通过扫描整个图像并识别出具有面部特征的区域，生成一个包含面部区域的边界框；

9、在检测到的人脸区域内，使用特征点检测模型定位眼睛的位置；

10、根据定位的眼睛位置，从面部图像中裁剪出眼部区域图像。

11、优选的，对提取的眼睑运动特征进行深入分析，其中，提取的眼睑运动特征包括眼睑从完全睁开到完全闭合再到完全睁开的速度和眼睛睁开的最大角度与最小角度之间的变化幅度，在检测窗口下，对司机眼睑从完全睁开到完全闭合再到完全睁开的速度和眼睛睁开的最大角度与最小角度之间的变化幅度进行深入分析后，分别生成眼睑开合速度指数和眼睛睁开角度变化指数，将眼睑开合速度指数和眼睛睁开角度变化指数输入至预先训练好的机器学习模型中，基于模型生成疲劳系数，通过疲劳系数对司机的潜在疲劳状态进行初步识别。

12、优选的，在检测窗口下，将通过机器学习模型生成的疲劳系数与预先设定的疲劳系数参考阈值进行比对分析，对司机的潜在疲劳状态进行初步识别，具体的步骤如下：

13、若疲劳系数小于疲劳系数参考阈值，则将该检测窗口下司机的驾驶状态划分为疲劳驾驶；

14、若疲劳系数大于等于疲劳系数参考阈值，则将该检测窗口下司机的驾驶状态划分为正常驾驶。

15、优选的，初步识别出潜在疲劳状态后，即在检测窗口下司机的驾驶状态被划分为疲劳驾驶时，自动调整摄像头的目标帧率，具体的步骤如下：

16、使用疲劳系数fatigueγ和疲劳系数参考阈值fthr计算帧率调整因子，计算的表达式为：其中，rx表示帧率调整因子，k1和k2为调控参数，用于控制帧率调整因子的敏感度和变化范围，fmax表示最大疲劳系数，用于描述系统在检测过程中所能识别的最大疲劳状态值；

17、根据帧率调整因子rx计算目标帧率，计算的表达式为：rtarget＝rinitial+rmax-rinitial)·rx，式中，rtarget表示目标帧率，rinitial表示初始低频帧率，rmax表示最大帧率；

18、基于调整后的目标帧率继续对司机眼睑运动特征的捕捉频率，获得更精细和准确的运动数据。

19、优选的，提高摄像头帧率后，持续采集司机的眼睑运动特征数据，并计算每个时间窗口的疲劳系数；

20、收集所有计算得到的疲劳系数，并建立分析集合，用于后续的综合分析；

21、利用聚类算法对分析集合中的疲劳系数进行综合分析，识别不同的疲劳状态模式，使用k-均值聚类算法，将疲劳系数集合分成k个簇，划分依据的表达式为：式中，表示目标函数，s是簇的集合，si是第i个簇，μi是第i个簇的中心，代表该簇的平均疲劳状态，k是簇的数量，v是数据点，||v-μi||表示数据点v与簇中心μi之间的平方欧几里得距离；

22、计算疲劳系数的标准偏差，计算的表达式为：其中，σ表示疲劳系数的标准偏差。

23、优选的，将标准偏差与预先设定的标准偏差进行比对，若标准偏差大于预先设定的标准偏差，则si为短暂性疲劳簇，若标准偏差小于等于预先设定的标准偏差，则si为持续型疲劳簇；

24、当分析集合中存在持续型疲劳簇时，表明司机存在持续性的疲劳驾驶，则通过系统发出预警提示，通知司机停车休息。

25、优选的，在检测窗口下，对司机眼睑从完全睁开到完全闭合再到完全睁开的速度进行深入分析后，生成眼睑开合速度指数的具体步骤如下：

26、在检测到的眼睛区域内，使用特征点检测算法提取眼睑关键点，并通过跟踪算法进行连续跟踪，将在时间t检测到的眼睑关键点坐标用p(t)进行表示；

27、计算上眼睑和下眼睑之间的垂直距离，计算的表达式为：其中，pu和pl分别是上眼睑和下眼睑的关键点坐标，dt是在时间t的眼睑开合距离，pu，x和pu，y分别是上眼睑关键点坐标的水平坐标和垂直坐标，pl，x和pl，y分别是下眼睑关键点坐标的水平坐标和垂直坐标；

28、计算从完全睁开到完全闭合再到完全睁开的速度，计算的表达式为：其中，vt是在时间t的眼睑开合速度，δt是相邻帧之间的时间间隔；

29、对检测窗口内的眼睑开合速度进行分析，计算出眼睑开合速度指数，计算的表达式为：eoosiα是眼睑开合速度指数，n是检测窗口内的帧数，是在时间区间[t，t+δt]内眼睑开合速度的绝对值积分，maxt≤τ≤δtvτ和mint≤τ≤δtvτ分别表示在时间区间[t，t+δt]内眼睑开合速度的最大值和最小值。

30、优选的，在检测窗口下，对司机眼睛睁开的最大角度与最小角度之间的变化幅度进行深入分析后，生成眼睛睁开角度变化指数的具体步骤如下：

31、通过计算每帧图像中眼睑上边缘和眼睑下边缘之间的垂直距离，得到眼睛的瞬时开合角度，计算的表达式为：式中，ap表示第p帧图像中的瞬时开合角度；

32、在检测窗口内，获取眼睛开合时的瞬时开合角度，将瞬时开合角度建立数据集合，并将数据集合内的瞬时开合角度按照顺序排序，获取瞬时开合角度的最大值和最小值，然后计算开合角度的变化幅度，计算的表达式为：δa＝amax-amin|，其中，δa表示检测窗口内眼睛瞬时开合角度的变化幅度，amax表示检测窗口内的最大瞬时开合角度，amin表示检测窗口内的最小瞬时开合角度；

33、计算眼睛睁开角度变化指数，计算的表达式为：式中，eoaviβ表示眼睛睁开角度变化指数。

34、在上述技术方案中，本发明提供的技术效果和优点：

35、本发明通过对提取的眼睑运动特征进行深入分析，并利用预先训练好的机器学习模型生成疲劳系数，能够对司机的潜在疲劳状态进行初步识别，这一过程确保了在低帧率下依然能够有效监测疲劳迹象，及时发现司机的疲劳状态，有助于在早期阶段预防疲劳驾驶，从而降低交通事故风险。

36、本发明在初步识别出潜在的疲劳状态后，系统自动调整摄像头的目标帧率，通过增加帧率，提高对司机眼睑运动特征的捕捉频率，这种动态调节机制不仅减少了系统在正常状态下的计算负担和存储压力，还确保在检测到潜在疲劳时能够获得更精细和准确的数据，既优化了资源利用，又增强了疲劳状态检测的灵敏度和准确性，提高了系统的整体效率和可靠性。

37、本发明在提高帧率后，系统对获取的详细数据进行综合分析，全面评估司机的疲劳状态，并在此基础上将疲劳状态进一步划分为短暂型和持续型，对于检测到的持续型疲劳状态，系统发出预警提示，通知司机停车休息，这一过程通过细化疲劳状态分类，确保仅在必要时发出预警，避免误报和漏报，从而提高预警的准确性和有效性，不仅保护了司机的安全，还提升了整体交通安全水平。