一种运动状态识别方法、装置及电子设备与流程

本发明实施方式涉及物品检测领域，特别是涉及一种运动状态识别方法、装置及电子设备。

背景技术：

1、物品检测与追踪技术致力于通过图像处理和计算机视觉技术，检测图像中特定物体并跟踪其运动轨迹。该技术首先通过深度学习中的目标检测技术，实现对图像中目标的高效准确检测。一旦目标被检测到，目标追踪技术则负责在连续帧中跟踪目标的位置，涉及到运动预测、外观建模等方面。在复杂场景中，多目标追踪技术通过有效的目标关系管理，实现对多个目标的准确追踪。物品检测与追踪技术的发展推动了动态视觉智能售货柜自动化和智能化的进程，成为该领域中不可或缺的关键技术。

2、现有的识别物品的运动状态的方式有结合物品检测与追踪算法，在复杂的环境中提高了检测的准确性和追踪的稳定性，为实现更精准的目标识别和持久的目标跟踪奠定了基础，但物品检测会无差别地对运动的物品以及静置的物品进行识别，运算量极大，并且对于快速移动的物品的识别效果较差。此外，还有利用帧差计算物品运动部分像素以实现运动轨迹识别的，但其缺点是轮廓不清晰以及噪点多，并且还容易被干扰。

技术实现思路

1、本发明实施方式主要解决的技术问题是提供一种运动状态识别方法、装置及电子设备，能够解决现有智能售货柜在商品运动轨迹识别上存在的运算量过大以及高速移动物品识别效果差等问题。

2、为解决上述技术问题，本发明实施方式采用的一个技术方案是：提供一种运动状态识别方法，应用于设置有摄像组件的智能售货柜，包括：根据所述摄像组件的录制视频提取第一输入图像和第二输入图像，所述第二输入图像为所述第一输入图像的下一帧图像；将所述第二输入图像与所述第一输入图像进行像素减法运算，获得差分图像数据；将所述差分图像数据输入目标检测追踪模型，以获得相应商品的运动轨迹识别结果；根据所述运动轨迹识别结果，判断相应商品的运动状态。

3、在一些实施例中，在根据所述运动轨迹识别结果，判断相应商品的运动状态之后，所述方法还包括：根据所述差分图像数据中的像素区域，对所述第一输入图像或所述第二输入图像进行标注；将标注后的第一输入图像或第二输入图像输入至商品识别模型，以获得商品类别识别结果。

4、在一些实施例中，在根据所述摄像组件的录制视频获取第一输入图像和第二输入图像之前，所述方法还包括：使用商品图像数据集，训练获得商品类别识别模型；使用差分图像数据集，训练获得所述目标检测追踪模型。

5、在一些实施例中，所述根据所述摄像组件的录制视频提取第一输入图像和第二输入图像，包括：从所述录制视频中提取第一帧图像作为所述第一输入图像；从所述录制视频中提取所述第一帧视频之后的下一帧图像，作为所述第二输入图像。

6、在一些实施例中，所述将所述第二输入图像与所述第一输入图像进行像素减法运算，获得差分图像数据，包括：对所述第一输入图像和所述第二输入图像中的每一个像素位置，分别提取其像素值；将所述第二输入图像中每个像素的颜色值与所述第一输入图像中对应位置的像素颜色值相减，获得差分图像数据。

7、在一些实施例中，所述根据所述运动轨迹识别结果，判断相应商品的运动状态，包括：获取所述运动轨迹识别结果的关键特征；根据预先定义的运动状态类别，将所述关键特征与各个运动状态类别所对应的预设阈值进行比对，获得相应商品的运动状态。

8、在一些实施例中，所述使用差分图像数据集，训练获得所述目标检测追踪模型，包括：获取差分图像数据集；对所述差分图像数据集中的商品进行标注；选择深度学习模型；使用标注好的差分图像数据集对所述深度学习模型进行训练，获得所述目标检测追踪模型。

9、为解决上述技术问题，本发明实施方式采用的另一个技术方案是：提供一种运动状态识别装置，包括：第一模型模块，用于使用商品图像数据集，训练获得商品类别识别模型；第二模型模块，用于使用差分图像数据集，训练获得所述目标检测追踪模型；图像获取模块，用于根据所述摄像组件的录制视频提取第一输入图像和第二输入图像，所述第二输入图像为所述第一输入图像的下一帧图像；图像处理模块，用于将所述第二输入图像与所述第一输入图像进行像素减法运算，获得差分图像数据；商品识别模块，用于将所述差分图像数据输入目标检测追踪模型，以获得相应商品的运动轨迹识别结果；状态判断模块，用于根据所述运动轨迹识别结果，判断相应商品的运动状态；图像标注模块，用于根据所述差分图像数据中的像素区域，对所述第一输入图像或所述第二输入图像进行标注；类别识别模块，用于将标注后的第一输入图像或第二输入图像输入至商品识别模型，以获得商品类别识别结果。

10、为解决上述技术问题，本发明实施方式采用的另一个技术方案是：提供一种电子设备，包括：至少一个处理器；至少一个网络接口，所述网络接口与相应的处理器通信连接；以及，与所述至少一个处理器通信连接的存储器；其中，所述网络接口用于建立所述处理器与其他外界设备之间的通信连接；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的一种运动状态识别方法。

11、为解决上述技术问题，本发明实施方式采用的另一个技术方案是：提供一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，可使得所述一个或多个处理器执行如上所述的一种运动状态识别方法。

12、本发明实施方式的有益效果是：区别于现有技术的情况，本发明实施方式将经过帧差法计算后获得的图像输入作为模型输入，获得相应商品的运动轨迹识别结果，在避免对静置商品进行识别的情况下，减少了模型的运算量；并且经过帧差法获得的图像本身就记录有商品的运动趋势，因此不需要清晰识别商品，能够解决拖影情况下的物品追踪问题。

1.一种运动状态识别方法，应用于设置有摄像组件的智能售货柜，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在根据所述运动轨迹识别结果，判断相应商品的运动状态之后，还包括：

3.根据权利要求1所述的方法，其特征在于，在根据所述摄像组件的录制视频获取第一输入图像和第二输入图像之前，还包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述摄像组件的录制视频提取第一输入图像和第二输入图像，包括：

5.根据权利要求1所述的方法，其特征在于，所述将所述第二输入图像与所述第一输入图像进行像素减法运算，获得差分图像数据，包括：

6.根据权利要求1所述的方法，其特征在于，所述根据所述运动轨迹识别结果，判断相应商品的运动状态，包括：

7.根据权利要求3所述的方法，其特征在于，所述使用差分图像数据集，训练获得所述目标检测追踪模型，包括：

8.一种运动状态识别装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种非易失性计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，可使得所述一个或多个处理器执行如权利要求1-7任一项所述的一种运动状态识别方法。