基于边缘引导和对抗网络的公路枪机球机联动方法及装置与流程

本申请涉及计算机视觉领域，特别是涉及一种基于边缘引导和对抗网络的公路枪机球机联动方法及系统。

背景技术：

1、高速公路的监控技术随着视频处理和通信技术的快速发展而不断演进，在智能交通系统中，监控摄像机的广泛应用已成为现实，在智能交通系统中，通过多个摄像头的联动来对同一车辆目标进行识别可以准确的对车辆进行追踪，但是不同种类摄像头的拍摄效果不同就导致对车辆进行追踪的准确度不高，目前，公路上主要存在两种摄像头，一种为枪机，一种为球机，枪机的视角范围固定、图像质量也基本固定，所以枪机之间进行车辆追踪的准确率很高，是目前市面上主要的车辆重识别都是对枪机获取的图像进行重识别，而球机则不同，由于球机能够大范围转动，所以球机所获取图像的视角范围与枪机所获取图像的视角范围区别较大，而且由于高速公路环境的复杂性，包括不同天气条件和光照变化，可能会影响球机获取图像的质量，所以在进行车辆追踪时，球机的车辆识别准确度往往不高。

2、综上所述，如何对枪机、球机所获取的不同视角范围、不同质量的图像进行车辆识别追踪，从而在智能交通系统中保证枪机、球机的联动性是现有技术亟需解决的问题。

技术实现思路

1、本申请实施例提供了一种基于边缘引导和对抗网络的公路枪机球机联动方法及装置，通过构建生成器架构，并在生成器架构的训练过程中先对球机图像边缘进行添加噪声，再以枪机图像边缘特征作为引导来进行多步逆向去噪得到高分辨率球机图像，从而使生成器架构可以还原球机图像中的边缘信息，并且消除了球机图像与枪机图像之间的域差异，使得到的高分辨率球机图像可以直接与枪机图像进行联动。

2、第一方面，本申请实施例提供了一种基于边缘引导和对抗网络的公路枪机球机联动方法，所述方法包括：

3、获取待联动球机图像以及与待联动球机图像对应的待联动球机图像边缘特征，所述待联动球机图像边缘特征为对应待联动球机图像内每一物体的轮廓特征和形状细节特征；

4、构建生成器模块，所述生成器模块由多组训练样本训练得到，每组训练样本由拍摄内容相同的枪机图像边缘特征与球机图像边缘特征组成，在训练过程中先以球机图像边缘特征为输入，通过多步扩散对所述球机图像边缘特征添加噪声得到噪声图像边缘信息向量，再以枪机图像边缘特征作为引导对所述噪声图像边缘信息向量进行多步逆向去噪得到高分辨率球机图像，并构建判别器与生成器进行对抗训练，所述判别器对高分辨率球机图像的图像质量与真实性进行判别；

5、将待联动球机图像输入到生成器模块中得到待联动高分辨率球机图像，基于所述待联动高分辨率球机图像与任一枪机获取的枪机图像进行联动。

6、第二方面，本申请实施例提供了一种基于边缘引导和对抗网络的公路枪机球机联动装置，包括：

7、获取模块，用于获取待联动球机图像以及与待联动球机图像对应的待联动球机图像边缘特征，所述待联动球机图像边缘特征为对应待联动球机图像内每一物体的轮廓特征和形状细节特征；

8、构建模块，用于构建生成器模块，所述生成器模块由多组训练样本训练得到，每组训练样本由拍摄内容相同的枪机图像边缘特征与球机图像边缘特征组成，在训练过程中先以球机图像边缘特征为输入，通过多步扩散对所述球机图像边缘特征添加噪声得到噪声图像边缘信息向量，再以枪机图像边缘特征作为引导对所述噪声图像边缘信息向量进行多步逆向去噪得到高分辨率球机图像，并构建判别器与生成器进行对抗训练，所述判别器对高分辨率球机图像的图像质量与真实性进行判别；

9、联动模块，用于将待联动球机图像输入到生成器模块中得到待联动高分辨率球机图像，基于所述待联动高分辨率球机图像与任一枪机获取的枪机图像进行联动。

10、第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种基于边缘引导和对抗网络的公路枪机球机联动方法。

11、第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种基于边缘引导和对抗网络的公路枪机球机联动方法。

12、本发明的主要贡献和创新点如下：

13、本申请实施例通过枪球一体机来获取内容相同的多组枪机图像与球机图像来对生成器架构进行训练，生成器架构先通过多步扩散来对球机图像边缘特征添加噪声，再以枪机图像边缘特征作为引导通过多步逆向去噪来得到高分辨率球机图像，由于在多步逆向去噪过程中以枪机图像边缘特征作为引导，所以得到的高分辨率球机图像中的边缘信息更加接近枪机图像，所以可以直接与任一枪机图像进行联动；本方案在训练过程中构建判别器来与生成器架构进行对抗训练，使生成器架构生成的高分辨率球机图像更加的真实，更符合实际拍摄的球机图像，进一步提升了与枪机图像联动的准确性。

14、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

1.一种基于边缘引导和对抗网络的公路枪机球机联动方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于边缘引导和对抗网络的公路枪机球机联动方法，其特征在于，先使用transformer提取待联动球机图像的特征得到待联动球机特征图，再使用全连接层将待联动球机特征图投影到一维空间得到待联动球机图像一维特征矩阵，最后使用高斯滤波提取待联动球机图像一维特征矩阵中的边缘信息得到待联动球机图像边缘特征。

3.根据权利要求1所述的一种基于边缘引导和对抗网络的公路枪机球机联动方法，其特征在于，通过多步扩散对所述球机图像边缘特征添加噪声得到噪声图像边缘信息向量的公式表示如下：

4.根据权利要求1所述的一种基于边缘引导和对抗网络的公路枪机球机联动方法，其特征在于，对所述噪声图像边缘信息向量进行多步逆向去噪得到高分辨率球机图像的公式表示如下：

5.根据权利要求1所述的一种基于边缘引导和对抗网络的公路枪机球机联动方法，其特征在于，所述判别器基于与每一高分辨率图像对应的真实球机图像边缘特征来对每一高分辨率球机图像的质量和真实性进行判断。

6.根据权利要求1所述的一种基于边缘引导和对抗网络的公路枪机球机联动方法，其特征在于，对抗网络中的损失函数包括第一损失以及第二损失，第一损失用于确保判别器对真实球机图像边缘特征的识别准确性，第二损失用于确保生成器架构生成的高分辨率图像的边缘信息可以欺骗判别器。

7.一种基于边缘引导和对抗网络的公路枪机球机联动装置，其特征在于，包括：

8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-6任一所述的一种基于边缘引导和对抗网络的公路枪机球机联动方法。

9.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1-6任一所述的一种基于边缘引导和对抗网络的公路枪机球机联动方法。