一种边缘智能的监控视频动静态特征协同检测方法和装置

本技术涉及视频处理，特别涉及一种边缘智能的监控视频动静态特征协同检测方法和装置。

背景技术：

1、智能监控在物联网场景下已在日常生活和工业场景中得到广泛应用，成为交通监控、暴力检测和缺陷检测等领域的重要工具。然而，由此产生的海量数据可能会对后续的存储、通信和分析带来巨大负担；并且，由于监控视角下异常事件的稀缺性，数据冗余问题也会进一步加剧。因此，自动检测监控视频中的异常事件是实现先进视觉系统的关键一步。

2、由于异常事件的稀缺性和无界限定义，采集和标记足够的异常事件是不可行的，而基于无监督学习的方法只需要使用正常样本，在训练时不需要标签，因此更具可行性。在这种情况下，异常事件被自然地视为偏离正常模式的离群值。

3、当前，无监督异常检测的方法主要基于深度神经网络的深度学习技术，深度神经网络的应用通常需要进行密集计算，而在典型的物联网场景中，基础设施难以承受大规模数据和模型所带来的计算和通信任务负担，这成为高效智能视觉系统发展的瓶颈。因此，如何实现高效、准确的异常行为检测是亟待解决的技术问题。

技术实现思路

1、鉴于上述问题，本技术实施例提供了一种边缘智能的监控视频动静态特征协同检测方法和装置，以便克服上述问题或者至少部分地解决上述问题。

2、本技术实施例的第一方面，公开了一种边缘智能的监控视频动静态特征协同检测方法，所述方法包括：

3、利用终端设备获取视频数据；

4、利用边缘节点设备中的轻量级的单帧动态特征预测神经网络，对所述视频数据中的目标视频帧进行帧间双向运动约束和动态特征提取，得到包含前后相邻视频帧动态特征的第一重构视频帧，并根据所述第一重构视频帧进行异常动态信息检测，得到动态信息异常检测结果；

5、利用中心云端设备中的多帧静态特征预测神经网络，对所述目标视频的前后多帧相邻视频帧进行时空聚合和解码处理，得到包含前后多帧相邻视频帧静态语义的第二重构视频帧，并根据所述第二重构视频帧进行异常静态信息检测，得到静态信息异常检测结果；

6、根据所述动态信息异常检测结果和所述静态信息异常检测结果，得到最终的异常检测结果。

7、可选地，所述方法还包括：

8、对所述边缘节点设备和所述中心云端设备的网络带宽状态进行监测；

9、在所述网络带宽状态不满足实时性要求的情况下，利用边缘节点设备中的轻量级的单帧动态特征预测神经网络进行异常检测，以根据动态信息异常检测结果进行实时预警；

10、根据所述动态信息异常检测结果和所述静态信息异常检测结果，得到最终的异常检测结果，包括：

11、在所述网络带宽状态满足实时性要求的情况下，利用边缘节点设备中的轻量级的单帧动态特征预测神经网络，以及中心云端设备中的多帧静态特征预测神经网络进行协同异常检测，以得到最终的异常检测结果。

12、可选地，根据所述第一重构视频帧进行异常动态信息检测、根据所述第二重构视频帧进行异常静态信息检测，是按照以下步骤进行检测的：

13、将目标视频帧和重构视频帧之间的峰值信噪比，作为目标视频帧的质量评估指标，质量评估指标表征所述目标视频帧的正常程度，所述重构视频帧包括：第一重构视频帧和第二重构视频帧；

14、对所述视频数据中所有目标视频帧的质量评估指标进行归一化处理，得到异常检测结果，所述异常检测结果包括：动态信息异常检测结果和静态信息异常检测结果。

15、可选地，所述单帧动态特征预测神经网络包括：第一空间编码器和动态解码器；

16、利用边缘节点设备中的轻量级的单帧动态特征预测神经网络，对所述视频数据中的目标视频帧进行帧间双向运动约束和动态特征提取，得到包含前后相邻视频帧动态特征的第一重构视频帧，包括：

17、利用所述第一空间编码器提取所述目标视频帧的空间特征，得到与目标视频帧的前后相邻视频帧相关联的双向动态特征图；

18、利用所述动态解码器根据所述双向动态特征图进行特征重构，得到包含前后相邻视频帧动态特征的第一重构视频帧。

19、可选地，利用动态解码器根据所述双向动态特征图进行特征重构，得到包含前后相邻视频帧动态特征的第一重构视频帧，包括：

20、根据所述双向动态特征图和所述目标视频帧，构建所述目标视频帧的前后相邻视频帧；

21、根据所述目标视频帧的前后相邻视频帧和所述双向动态特征图进行逆映射变换，得到包含前后相邻视频帧动态特征的第一重构视频帧。

22、可选地，所述多帧静态特征预测神经网络包括：第二空间编码器、多尺度时空聚合器、静态解码器；

23、利用中心云端设备中的多帧静态特征预测神经网络，对所述目标视频的前后多帧相邻视频帧进行时空聚合和解码处理，得到包含前后多帧相邻视频帧静态语义的第二重构视频帧，包括：

24、利用所述第二空间编码器获取每个相邻视频帧的空间特征；

25、利用所述多尺度时空聚合器对每个所述相邻视频帧的空间特征进行聚合，得到目标视频的静态外观特征；

26、利用所述静态解码器对所述目标视频的静态外观特征进行视频帧重构，得到包含前后多帧相邻视频帧静态语义的第二重构视频帧。

27、可选地，所述空间特征包括：前两帧相邻视频帧的空间特征和后两帧相邻视频帧的空间特征；所述多尺度时空聚合器包括：前向多尺度时空聚合器和后向多尺度时空聚合器；

28、利用多尺度时空聚合器对每个所述相邻视频帧的空间特征进行聚合，得到目标视频的静态外观特征，包括：

29、将所述前两帧相邻视频帧的空间特征输入到所述前向多尺度时空聚合器进行聚合，得到前向时空特征；

30、将所述后两帧相邻视频帧的空间特征输入到所述后向多尺度时空聚合器进行聚合，得到后向时空特征；

31、根据所述前向时空特征和所述后向时空特征，得到目标视频的静态外观特征。

32、可选地，所述单帧动态特征预测神经网络和所述多帧静态特征预测神经网络是按照以下动静态联合训练步骤得到的：

33、根据所述单帧动态特征预测神经网络获取样本视频数据中样本目标视频帧对应第一样本重构视频帧，以及，根据所述多帧静态特征预测神经网络获取所述样本目标视频帧对应的第二样本重构视频帧；

34、根据所述第一样本重构视频帧与所述样本目标视频帧构建动态损失，以及，根据所述第二样本重构视频帧与所述样本目标视频帧构建静态损失；

35、根据所述动态损失和所述静态损失，对所述单帧动态特征预测神经网络的网络参数和所述多帧静态特征预测神经网络的网络参数进行更新。

36、可选地，所述动态损失和所述静态损失包括：强度约束损失、梯度约束损失、感知约束损失、对抗约束损失；

37、所述动态损失和所述静态损失是按照以下步骤构建的：

38、根据样本重构视频帧与所述样本目标视频帧之间的欧几里得距离，得到强度约束损失，所述样本重构视频帧包括：第一样本重构视频帧和第二样本重构视频帧；

39、根据所述样本重构视频帧与所述样本目标视频帧之间的梯度幅度相似性，得到梯度约束损失；

40、根据所述样本重构视频帧与所述样本目标视频帧之间的局部结构相似性误差，得到感知约束损失；

41、根据所述样本重构视频帧与所述样本目标视频帧进行对抗性学习，得到对抗约束损失。

42、本技术实施例的第二方面，公开了一种边缘智能的监控视频动静态特征协同检测装置，所述装置包括：

43、数据获取模块，用于利用终端设备获取视频数据；

44、第一检测模块，用于利用边缘节点设备中的轻量级的单帧动态特征预测神经网络，对所述视频数据中的目标视频帧进行帧间双向运动约束和动态特征提取，得到包含前后相邻视频帧动态特征的第一重构视频帧，并根据所述第一重构视频帧进行异常动态信息检测，得到动态信息异常检测结果；

45、第二检测模块，用于利用中心云端设备中的多帧静态特征预测神经网络，对所述目标视频的前后多帧相邻视频帧进行时空聚合和解码处理，得到包含前后多帧相邻视频帧静态语义的第二重构视频帧，并根据所述第二重构视频帧进行异常静态信息检测，得到静态信息异常检测结果；

46、最终结果模块，用于根据所述动态信息异常检测结果和所述静态信息异常检测结果，得到最终的异常检测结果。

47、本技术实施例包括以下优点：

48、在本技术实施例中，结合边缘计算架构的实时性特点，基于异常事件在动态空间和静态空间与正常事件的差异性的观测结果，提出一种边缘智能的监控视频动静态特征协同检测方法。利用终端设备获取视频数据；利用边缘节点设备中的轻量级的单帧动态特征预测神经网络，对所述视频数据中的目标视频帧进行帧间双向运动约束和动态特征提取，得到包含前后相邻视频帧动态特征的第一重构视频帧，并根据所述第一重构视频帧进行异常动态信息检测，得到动态信息异常检测结果；利用中心云端设备中的多帧静态特征预测神经网络，对所述目标视频的前后多帧相邻视频帧进行时空聚合和解码处理，得到包含前后多帧相邻视频帧静态语义的第二重构视频帧，并根据所述第二重构视频帧进行异常静态信息检测，得到静态信息异常检测结果；最后根据所述动态信息异常检测结果和所述静态信息异常检测结果，得到最终的异常检测结果。

49、如此，实现一种云端-边缘协同执行的异常行为检测框架，以提高物联网场景下视频异常检测的效率。通过边缘节点设备中的轻量级的单帧动态特征预测神经网络，能够获取单帧目标视频帧的外观动态信息(即前后相邻视频帧动态特征)，以基于动态信息实现异常检测，得到动态信息异常检测结果，由于边缘节点设备中的轻量级的单帧动态特征预测神经网络是对视频数据中的单帧目标视频帧进行处理，因而在边缘节点设备中能够实现快速的异常行为检测。

50、并且，通过中心云端设备中的多帧静态特征预测神经网络获取目标视频帧的前后多帧相邻视频帧的静态语义，基于前后多帧相邻视频帧的静态语义能够实现更加准确的异常检测；最后协同动态信息异常检测结果和静态信息异常检测结果，得到准确的最终的异常检测结果。从而实现高效、准确的异常行为检测。