基于AttentiveGAN的图像去雨滴方法与流程

本发明涉及图像处理，尤其涉及一种基于attentive gan的图像去雨滴方法。

背景技术：

1、汽车的摄像头在依赖视觉的自动驾驶感知中用于输入前方路况及前方画面，可以实现行人碰撞预警、车道保持、前向碰撞预警等功能，甚至可以摄像头代替外后视镜。但当车辆在雨雪天气中行进或淌过泥泞的水沟时，会出现雨滴或污水附着在摄像头上的情况，图像的某些区域会变得模糊和失真，这会显著降低场景的可见性，并影响前方路况探测和目标检测。此外，激光雷达相比摄像头更易受到雨雪天气的影响，此时并不能弥补摄像头的不足。目前attentive gan是一种创新的深度学习模型，通过引入注意力机制来提高gan在图像处理任务中的性能，在雨滴去除、图像修复等方面表现出色，具有广泛的应用前景。

2、因此，提出一种在依赖纯视觉的自动驾驶感知中，去除图像雨滴并获得高分辨率的无雨滴清晰图像的基于attentive gan的图像去雨滴方法是十分有必要的。

技术实现思路

1、本发明的目的在于提供一种基于attentive gan的图像去雨滴方法，在依赖纯视觉的自动驾驶感知中，能够去除图像雨滴并获得高分辨率的无雨滴清晰图像，有利于汽车的前方路况探测和目标检测。

2、为实现上述目的，本发明采用的一种基于attentive gan的图像去雨滴方法，包括如下步骤：

3、获取attentive gan中包含有雨滴图和清晰图的数据集；

4、将数据集中的数据进行预处理，并获得平滑掩膜矩阵；

5、基于对抗网络构建去雨滴模型；其中对抗网络由生成网络和判别网络组成；

6、获取生成器和判别器的损失函数；

7、训练去雨滴网络模型，获取最终的模型参数；

8、将带雨滴图像输入至完成训练的去雨滴网络模型中，获得去除雨滴的清晰图像。

9、其中，在获取attentive gan中包含有雨滴图和清晰图的数据集的步骤中：

10、获取attentive gan中的雨滴数据集，该数据集包含861对雨滴图和清晰图的训练集、58对图像的test_a测试集和249对图像的test_b测试集；其中test_a测试集是test_b测试集的子集。

11、其中，在将数据集中的数据进行预处理，并获得平滑掩膜矩阵的步骤中：

12、缩放数据集中的图像，基于数据集中的雨滴图和对应的清晰图，计算平滑掩膜矩阵m，令平滑掩膜矩阵m中带有雨滴的位置处矩阵值为1，在雨滴附近的位置值逐渐从1过渡到0；计算方式为：

13、当带雨滴图像和无雨滴图像的像素x位置处rgb三通道像素值之差的和sums>30时，令m(x)＝1；

14、当sums<15时，令m(x)＝0；当15≤sums≤30时，令m(x)＝sums/30。

15、其中，在基于对抗网络构建去雨滴模型；其中所述对抗网络由生成网络和判别网络组成的步骤中：

16、所述生成网络用于将带雨滴的输入图像生成无雨滴的图像，所述判别网络用于判别无雨滴的图像是否真实。

17、其中，在获取生成器和判别器的损失函数的步骤中：

18、生成器的损失函数表示为：

19、

20、其中g为生成网络，d为判别网络，i为带雨滴的输入图像，r为清晰的真值图像；

21、判别器的损失函数表示为：

22、ld(o,r,an)＝-log(d(r))-log(1-d(o))+γlmap(o,r,an)；

23、其中o是生成网络的最终输出图像，r是从真值图像中抽取出的样本，an是第n个模块生成的注意力图。

24、其中，在训练去雨滴网络模型，获取最终的模型参数的步骤中：

25、对雨滴网络模型进行训练，利用梯度最优化方法使得损失函数达到最小化，得到最终的模型参数。

26、本发明的一种基于attentive gan的图像去雨滴方法，通过获取attentive gan中包含有雨滴图和清晰图的数据集；将数据集中的数据进行预处理，并获得平滑掩膜矩阵；基于对抗网络构建去雨滴模型；其中对抗网络由生成网络和判别网络组成；获取生成器和判别器的损失函数；训练去雨滴网络模型，获取最终的模型参数；将带雨滴图像输入至完成训练的去雨滴网络模型中，获得去除雨滴的清晰图像；通过上述方式在依赖纯视觉的自动驾驶感知中，能够去除图像雨滴并获得高分辨率的无雨滴清晰图像，有利于汽车的前方路况探测和目标检测。

1.一种基于attentive gan的图像去雨滴方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于attentive gan的图像去雨滴方法，其特征在于，在获取attentive gan中包含有雨滴图和清晰图的数据集的步骤中：

3.如权利要求2所述的基于attentive gan的图像去雨滴方法，其特征在于，在将数据集中的数据进行预处理，并获得平滑掩膜矩阵的步骤中：

4.如权利要求3所述的基于attentive gan的图像去雨滴方法，其特征在于，在基于对抗网络构建去雨滴模型；其中所述对抗网络由生成网络和判别网络组成的步骤中：

5.如权利要求4所述的基于attentive gan的图像去雨滴方法，其特征在于，在获取生成器和判别器的损失函数的步骤中：

6.如权利要求1所述的基于attentive gan的图像去雨滴方法，其特征在于，在训练去雨滴网络模型，获取最终的模型参数的步骤中：