一种燃气场站装卸车操作流程隐患检测识别方法与流程

本技术涉及流程检测，尤其涉及一种燃气场站装卸车操作流程隐患检测识别方法、装置及系统。

背景技术：

1、燃气场站内装卸车的操作流程较为繁琐和复杂，一旦操作流程出现异常，会造成比较严重的后果。鉴于此，目前会通过人工监管的方式，对燃气场站内的操作流程进行管理。例如，可以通过人为观看监控视频的方式，判断燃气场内的操作流程是否合规。

2、然而，现有的这种人工监管的方式通常费时费力，并且燃气场站内的环境比较复杂，仅通过人工的主观判断，很难发现操作流程中的隐患。因此，目前亟需一种效率更高、更加准确的操作流程检测方法。

技术实现思路

1、本技术提供一种燃气场站装卸车操作流程隐患检测识别方法、装置及系统，能够提高操作流程的检测效率和精度。

2、第一方面，本技术提供一种燃气场站装卸车操作流程隐患检测识别方法，所述方法包括：获取燃气场站内待装卸车的装卸配置数据，所述装卸配置数据至少用于表征所述待装卸车的燃气接口参数和用于连接燃气接口的目标软管参数；将所述装卸配置数据按照时间戳进行改写，以生成时间序列数据，所述时间序列数据中包括若干行数据条目，其中，不同的数据条目对应不同的时间戳，在任一数据条目中，包括按照预设的字段标识进行排列的数据参数；将所述时间序列数据按照字段标识划分为多个不同的序列子集，其中，各个序列子集中至少包含一个字段标识下的数据参数；在划分得到的序列子集中确定索引子集和属性子集，并分别生成所述索引子集的索引特征和所述属性子集的属性特征，以及为所述索引特征和所述属性特征分配不同的权重值，并基于分配的权重值对所述索引特征和所述属性特征进行特征加权，得到所述时间序列数据对应的加权特征；将所述加权特征与各个工况集群的代表特征进行匹配，并将匹配度最高的工况集群作为所述待装卸车所处的工况集群，以及获取所述工况集群表征的局部图像采集区域；在所述待装卸车到达指定位置的情况下，获取所述待装卸车的参考视频帧，并基于所述局部图像采集区域，从所述参考视频帧中裁剪出局部图像；识别所述局部图像中是否存在特定场景标识，并选取与识别结果相匹配的检测模型，其中，所述检测模型为rgb检测模型或者ir检测模型；其中，若在选取ir检测模型之后，识别出所述局部图像中的特定场景标识消失，从所述ir检测模型切换回rgb检测模型；利用选取的所述检测模型对所述局部图像进行检测，以确定所述局部图像中存在的操作流程隐患，并生成与所述操作流程隐患相适配的报警信息。

3、本技术该实施方式提供的技术方案，可以根据待装卸车所处的工况集群，确定出监控视频画面中大概率出现流程隐患的区域，从而针对该区域进行流程检测。在检测过程中，为了应对燃气场站内复杂的装卸环境，可以对特定场景标识进行识别，从而选取与当前装卸环境相匹配的检测模型。通过检测画面和检测模型的双重筛选，可以极大地提高流程隐患的检测效率和精度，进而为现场工作人员提供与操作流程隐患相适配的报警信息。其中，在按照字段标识对时间序列数据进行划分后，可以得到重要程度不同的多个序列子集。在这些序列子集中可以确定能够体现当前装卸特征的索引子集，和能够体现历史装卸特征的属性子集。后续，通过对这两种子集的特征进行特征加权，便可以得到时间序列数据的加权特征。利用该加权特征进行特征匹配，可以准确地确定出待装卸车所处的工况集群。

4、在一个实施方式中，所述待装卸车的类型为槽车，所述装卸配置数据通过所述槽车的唯一标识进行检索得到。

5、在一个实施方式中，分别生成所述索引子集的索引特征和所述属性子集的属性特征包括：将所述索引子集中各个时间戳的数据输入长短期记忆网络中，以通过所述长短期记忆网络提取所述索引子集的索引特征；以及将所述属性子集中各个时间戳的数据输入长短期记忆网络中，以通过所述长短期记忆网络提取所述属性子集的属性特征。

6、本技术该实施方式提供的技术方案，通过长短期记忆网络分别生成索引特征和属性特征，可以确保索引特征和属性特征的时序特性，进而确保最终生成的加权特征能够准确地表征时间序列数据。

7、在一个实施方式中，所述工况集群表征的局部图像采集区域按照以下方式生成：获取所述工况集群对应的操作流程隐患集合，所述操作流程隐患集合中包括在视频帧中出现操作流程隐患的特征位置；识别所述操作流程隐患集合中各个特征位置的置信度，并筛选出置信度高于指定阈值的多个候选特征位置；在视频帧中确定用于涵盖所有候选特征位置的最小外接矩形，并将所述最小外接矩形在所述视频帧中所处的区域作为所述工况集群表征的局部图像采集区域。

8、本技术该实施方式提供的技术方案，利用置信度对各个隐患的特征位置进行筛选，可以得到较为准确的最小外接矩形，从而在视频帧中识别出大概率出现隐患的局部图像采集区域，减少了后续的数据处理量，提高了隐患的检测效率。

9、在一个实施方式中，识别所述局部图像中是否存在特定场景标识包括：检测所述局部图像中是否存在烟雾区域，若是，检测所述烟雾区域在所述局部图像中的占比；若所述烟雾区域在所述局部图像中的占比高于指定比例阈值，判定所述局部图像中存在特定场景标识。

10、在一个实施方式中，选取与识别结果相匹配的检测模型包括：若所述识别结果表征所述局部图像中存在特定场景标识，选取ir检测模型；若所述识别结果表征所述局部图像中不存在特定场景标识，选取rgb检测模型。

11、本技术该实施方式提供的技术方案，通过对烟雾区域进行识别，可以在视频帧中出现烟雾时，选用ir检测模型进行红外检测，这样，在可见光检测精度无法保证时，可以利用红外检测模型进行检测，确保了隐患检测的准确度。

12、在一个实施方式中，所述检测模型按照以下方式训练得到：获取rgb数据集和ir数据集，其中，所述rgb数据集中包括可见光图像样本，所述ir数据集中包括红外线图像样本；分别为所述可见光图像样本和所述红外线图像样本设置训练标签，所述训练标签至少用于表征所述待装卸车所处的位置、所述待装卸车上软管的连接状态以及工作人员的状态信息，其中，所述可见光图像样本还额外具备表征烟雾场景的标签；在训练标签的监督下，利用经过改进的yolov8网络分别对所述rgb数据集和所述ir数据集进行训练，并在训练完成后，保存针对所述rgb数据集的第一网络权重和针对所述ir数据集的第二网络权重；其中，所述经过改进的yolov8网络中，backbone部分采用了densenet结构；基于所述第一网络权重，生成rgb检测模型，以及基于所述第二网络权重，生成ir检测模型。

13、本技术该实施方式提供的技术方案，以densenet结构修改并替换yolov8的backbone部分，在不损失yolov8原先特点的基础上，较少计算开销，增加模型对小目标物体的检测能力。在训练过程中，通过为红外线图像样本设置额外的烟雾场景标签，可以准确地区分rgb检测模型和ir检测模型，从而提高了隐患检测的精确度。

14、在一个实施方式中，生成与所述操作流程隐患相适配的报警信息包括：若所述操作流程隐患表征软管从连接状态切换为断开状态，生成第一报警信息；若所述操作流程隐患表征工作人员的数量小于指定数量阈值，或者工作人员与所述待装卸车之间的距离大于指定距离与处，生成第二报警信息。

15、本技术该实施方式提供的技术方案，针对不同的隐患生成不同的报警信息，可以有效地提高隐患排查、纠正的效率，确保装卸工作的安全进行。

16、第二方面，本技术还提供一种燃气场站内装卸车操作流程隐患检测识别装置，所述装置包括：

17、配置数据获取单元，用于获取燃气场站内待装卸车的装卸配置数据，所述装卸配置数据至少用于表征所述待装卸车的燃气接口参数和用于连接燃气接口的目标软管参数；

18、采集区域获取单元，用于将所述装卸配置数据按照时间戳进行改写，以生成时间序列数据，所述时间序列数据中包括若干行数据条目，其中，不同的数据条目对应不同的时间戳，在任一数据条目中，包括按照预设的字段标识进行排列的数据参数；并将所述时间序列数据按照字段标识划分为多个不同的序列子集，其中，各个序列子集中至少包含一个字段标识下的数据参数；

19、所述采集区域获取单元还用于，在划分得到的序列子集中确定索引子集和属性子集，并分别生成所述索引子集的索引特征和所述属性子集的属性特征，以及为所述索引特征和所述属性特征分配不同的权重值，并基于分配的权重值对所述索引特征和所述属性特征进行特征加权，得到所述时间序列数据对应的加权特征；

20、所述采集区域获取单元还用于，将所述加权特征与各个工况集群的代表特征进行匹配，并将匹配度最高的工况集群作为所述待装卸车所处的工况集群，以及获取所述工况集群表征的局部图像采集区域；

21、局部图像确定单元，用于在所述待装卸车到达指定位置的情况下，获取所述待装卸车的参考视频帧，并基于所述局部图像采集区域，从所述参考视频帧中裁剪出局部图像；

22、模型选取单元，用于识别所述局部图像中是否存在特定场景标识，并选取与识别结果相匹配的检测模型，其中，所述检测模型为rgb检测模型或者ir检测模型；

23、隐患报警单元，用于利用选取的所述检测模型对所述局部图像进行检测，以确定所述局部图像中存在的操作流程隐患，并生成与所述操作流程隐患相适配的报警信息。

24、第三方面，本技术还提供一种燃气场站装卸车操作流程隐患检测识别系统，所述系统包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的燃气场站装卸车操作流程隐患检测识别方法。