一种基于深度学习的地铁车厢乘客行为分析方法及装置与流程

本发明涉及深度学习、计算机视觉和智能监控技术，具体是一种基于深度学习的地铁车厢乘客行为分析方法及装置。

背景技术：

1、随着城市轨道交通的快速发展，地铁以其独特的交通优势成为人们公共出行的首要选择，随着乘坐地铁的人数越来越多，其安全问题越来越受到人们的关注，传统的地铁安全监控主要依赖于人工观察和分析，这种方式不仅效率低，而且容易漏掉关键信息。因此，开发一种能够自动、及时、准确分析地铁车厢乘客行为的智能方法及装置，对于提高地铁安全具有重要意义。

技术实现思路

1、本发明提供了一种基于深度学习的地铁车厢乘客行为分析方法及装置，旨在通过深度学习技术，利用实时监控自动、准确，及时发现乘客异常行为，如躺卧、摔倒，纠纷等行为，优化乘客出行体验，提高地铁运营安全性。本发明包括以下内容：一种基于深度学习的地铁车厢乘客行为分析方法，包括如下步骤：

2、1）实时采集地铁车厢内监控摄像头的视频数据；

3、2）对采集到的视频数据进行预处理，并通过训练后的yolov8模型识别出人体，座椅，地板的类别；所述yolov8模型的训练包括使用隔帧法提取样本视频数据，将样本视频数据送入yolov8模型训练；训练中loss分为正负样本分配策略和loss计算：所述正负样本分配策略为标签分配策略的匹配策略，其根据分类与回归的分数结合加权的分数选择正样本；

4、3）利用深度卷积神经网络对预处理后的视频图像进行特征提取和分类；所述特征提取和分类包括对输入的视频序列帧采用vgg-19卷积网络创建输入的特征映射；然后经过二分支多阶段深度卷积神经网络，获取人体关键点的置信度和亲和力图，其中，第一分支预测关节点位置置信度图，人体局部亲和域，在第二阶段，通过贪心对置信度图和亲和力场进行解析，并对视频帧中所有人体生成相应关键点，获得对应的骨架图序列，在第二阶段以后生成的、按照式下式进行更新：

5、

6、其中，和分别表示第个阶段中两个分支网络的前向计算，、分别表示第个阶段的关节点置信度图和人体局部亲和域、表示经过vgg-19卷积网络提取到的特征图；

7、4）利用st-gcn模型对乘客异常行为准确识别；

8、5）对识别结果，进行分析与统计，并生成分析报表。

9、优选的，所述loss计算包括两个分支：即分类和回归；

10、首先计算分类分支的loss，分类分支采用bce loss，针对正样本和负样本进行非对称的加权操作，公式如下：

11、

12、其中，代表预测边框与真实边框的交叠率，当时，为正样本；当时，为负样本，代表计算出来的每个类别的置信度值，表示超参数，为可调整的比例参数；通过赋予权重来降低这些样本对损失的贡献，最后为了平衡正负样本损失，增加了一个可调整的比例参数给负样本损失；

13、然后计算回归分支的loss，回归分支采用分布焦点损失，公式如下：

14、

15、其中，代表预测框中心点坐标距离某一条边的最终位置，代表预测框中心点坐标距离预测框某一条边的距离，分别代表向上取整和向下取整的值；

16、最后计算ciou loss，公式如下：

17、

18、其中，代表预测边框与真实边框的交叠率，代表两个预测框的中心点之间的欧式距离，代表两个预测框闭合区域的对角线距离，代表真实框的宽高比，代表预测框的宽高比，代表测量真实框与预测框相对比例的一致性，是权重系数；

19、将计算的所述分类分支的loss值、所述回归分支的loss值和所述ciou loss值采用权重比例加权求和方式，求解最终的loss值。

20、优选的，所述置信度图表示为对每个身体部位可见的评价，若可见则在置信度图中存在峰值，则当前部位可见，在关节点上的像素的置信度为1，周围像素点按照距离呈高斯分布扩散，距离越远，置信度越低；

21、每个人的第个身体部位的置信度图按照下式生成：

22、

23、其中，为第个人第个关节的置信度图，是像素点的位置，表示第个人第个关节点的位置信息，为标准方差；

24、获取到每个身体部位的关键点位置后，通过亲和力场判断当前关键点归属，亲和力场置信度按照下式进行：

25、

26、其中，、为两个关节点位置坐标，表示亲和力场，为两关节节点的插值点，为插值间隔。

27、优选的，利用st-gcn模型对乘客异常行为的准确识别包括：

28、步骤1：人体行为视频通过openpose人体姿态估计算法得到全部帧中的所有关节点的关节点特征，其中包含关节点的空间坐标和置信度；

29、步骤2：根据关节点的空间坐标和置信度得到同一帧内各个关节点的相对向量和骨骼长度共同构成空间结构特征；

30、步骤3：根据关节点的空间坐标和置信度得到不同帧之间的关节点移动向量和移动距离共同构成时序动态特征；

31、步骤4：将关节点特征j与所有帧t和所有关节点序号n构成原始骨架信息序列；

32、步骤5：通过步骤2获得空间结构特征和步骤3获得的时序动态特征分别与所有帧t和所有关节点序号n构成新的骨架特征序列；

33、步骤6：将骨架特征序列拼接在一起共同构成人体时空骨架特征作为网络输入；

34、步骤7：根据人体时空骨架构建空间图卷积；

35、步骤8：构建处理时序信息的时间卷积模块，同步骤7中的空间图卷积构成一个时空单元st-gcn；

36、步骤9：将人体时空骨架特征输入st-gcn，经多层时空卷积，逐步生成更高级别的特征；

37、步骤10：构建全连接层，经softmax分类器返回预测的行为类别。

38、为了解决上述技术问题，本发明还提供了一种基于深度学习的地铁车厢乘客行为分析装置，包括：

39、视频采集模块：用于实时采集地铁车厢内监控摄像头的视频数据；

40、视频分析模块：对采集到视频数据进行预处理，并通过yolov8模型识别出人体，座椅，地板的类别；再利用深度卷积神经网络对预处理后的视频图像进行特征提取和分类，并利用st-gcn模型对乘客异常行为准确识别；

41、语音提醒模块：用于对司机语音提醒，及时处理乘客的异常行为；

42、分析统计模块：用于对识别结果，进行分析与统计，生成分析报表，方便地铁运营管理人员的管理与决策。

43、本发明的技术效果在于，通过深度学习技术实现对地铁车厢乘客行为的自动、准确分析，提高了地铁安全监控的效率和准确性。同时，本发明的装置结构简单，易于实现和维护，具有较高的实用价值和应用前景。

1.一种基于深度学习的地铁车厢乘客行为分析方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于深度学习的地铁车厢乘客行为分析方法，其特征在于，所述loss计算包括两个分支：即分类和回归；

3.根据权利要求2所述的基于深度学习的地铁车厢乘客行为分析方法，其特征在于，所述置信度图表示为对每个身体部位可见的评价，若可见则在置信度图中存在峰值，则当前部位可见，在关节点上的像素的置信度为1，周围像素点按照距离呈高斯分布扩散，距离越远，置信度越低；

4.根据权利要求1所述的基于深度学习的地铁车厢乘客行为分析方法，其特征在于，利用st-gcn模型对乘客异常行为的准确识别包括：

5.一种基于深度学习的地铁车厢乘客行为分析装置，应用权利要求1至4任一项所述的一种基于深度学习的地铁车厢乘客行为分析方法，其特征在于，包括：