一种基于两阶段生成对抗网络的图像超分辨率方法及装置与流程

本发明涉及图像处理领域，尤其是一种基于两阶段生成对抗网络的图像超分辨率方法及装置。

背景技术：

1、随着遥感技术的快速发展，获取高分辨率的遥感图像对于地理信息系统、城市规划、环境监测等领域变得越来越重要。然而，由于传感器的限制、成本的考量以及数据传输的带宽限制，直接获取高分辨率图像存在一定的挑战。为了解决这一问题，图像超分辨率技术应运而生，其核心目标是通过算法提升低分辨率图像的空间分辨率，以逼近或达到高分辨率图像的质量。

2、传统的图像超分辨率技术主要依赖于插值方法，如最近邻插值、双线性插值和双三次插值等。这些方法虽然实现简单，但往往无法有效恢复图像的细节信息，且容易引入不自然的伪影。随着深度学习技术的发展，基于卷积神经网络（cnn）的超分辨率方法展现出了显著的性能提升。然而，这些方法通常需要成对的高分辨率和低分辨率图像进行训练，这在实际应用中往往难以获得。此外，现有的基于深度学习的超分辨率方法大多采用端到端的网络结构，直接从低分辨率图像预测高分辨率图像，但这种方法往往忽视了图像降质过程中的细节丢失和噪声问题，导致生成的高分辨率图像在视觉上不够自然，且难以满足实际应用中的高质量要求。本发明旨在解决现有技术中的上述问题，提供了一种新颖的两阶段超分辨率方法，通过引入生成对抗网络（gan）技术，不仅能够有效提升低分辨率遥感图像的分辨率，还能增强图像的自然性和细节丰富度。

技术实现思路

1、本发明的目的在于针对现有技术的不足，提供了一种基于两阶段生成对抗网络的图像超分辨率方法及装置，以减小低分辨率影像中因为细节丢失与噪声，对高分辨率影像重建造成的影响。

2、本发明的目的是通过以下技术方案来实现的：一种基于两阶段生成对抗网络的图像超分辨率方法，包括：

3、获取对应的真实高分辨率图像和真实低分辨率图像，使用双三次插值法将真实高分辨率图像转化成双三次风格低分辨率图像；

4、利用真实低分辨率图像及其对应的双三次风格低分辨率图像训练第一生成对抗网络；第一生成对抗网络包括第一生成器和第一判别器；训练好的第一生成器用于生成合成低分辨率图像；

5、利用合成低分辨率图像及其对应的真实高分辨率图像训练第二生成对抗网络；第二生成对抗网络包括第二生成器和第二判别器；

6、利用训练好的第一生成器和第二生成器，进行待处理图像的高分辨率重建。

7、进一步地，所述第一生成器由卷积模块、残差级联模块、卷积模块按照首尾顺序依次连接。

8、进一步地，所述第二生成器由卷积模块、残差级联模块、卷积模块以及上采样模块按照首尾顺序依次连接。

9、进一步地，所述上采样模块包括一个卷积层、一个pixelshuffle层、一个卷积层和一个pixelshuffle层并依次连接。

10、进一步地，所述残差级联模块由若干残差块首尾连接构成，所述残差块包含若干个多尺度残差注意力块与一个卷积神经网络。

11、进一步地，所述多尺度残差注意力块包括大尺度残差注意力块、中尺度残差注意力块和小尺度残差注意力块；所述大尺度残差注意力块、中尺度残差注意力块和小尺度残差注意力块均分别由一个卷积层、一个relu激活函数层以及一个卷积层依次连接构成。

12、进一步地，所述第一生成器的损失函数由像素损失和对抗损失相加构成。

13、进一步地，所述第二生成器的损失函数由像素损失、感知损失和对抗损失相加构成；其中，所述感知损失为合成低分辨率图像及其对应的真实高分辨率图像经过特征提取器的特征向量之间的逐元素差值的总和。

14、本发明还提供了一种基于两阶段生成对抗网络的图像超分辨率装置，包括一个或多个处理器，用于实现上述的一种基于两阶段生成对抗网络的图像超分辨率方法。

15、本发明还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述的一种基于两阶段生成对抗网络的图像超分辨率方法。

16、与现有技术相比，本发明的有益效果是：

17、1、传统的遥感图像超分辨率方法（例如基于对抗生成的），往往直接将低分辨率图像重建为高分辨率图像。然而，传统方法忽视了图像降质过程中的细节丢失与噪声问题。本发明考虑两阶段的对抗生成方法，首先将真实分辨率图像重建为双三次风格图像，从而部分还原图像中的细节信息（比如地物的边界），然后再基于双三次风格影像重建为合成分辨率图像，从而获得更好的重建效果。

18、2、本发明的第一生成器和第二生成器均采用创新的网络结构，包括卷积模块、残差级联模块和多尺度残差注意力块，以全方位提取图像特征。此外，损失函数的设计考虑了像素损失、对抗损失和感知损失，以进一步提升图像重建的质量。

19、3、在遥感图像中，不同的地物拥有不同空间形态与范围的边界，通过在残差级联模块的基础上引入多尺度多注意力残差块模型。一方面，保证了多尺度地物特征重建的能力；另一方面，通过残差级联的能力保障了模型在网络较深的情况下，依然能够有效地进行训练。

1.一种基于两阶段生成对抗网络的图像超分辨率方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述第一生成器由卷积模块、残差级联模块、卷积模块按照首尾顺序依次连接。

3.根据权利要求1所述的方法，其特征在于，所述第二生成器由卷积模块、残差级联模块、卷积模块以及上采样模块按照首尾顺序依次连接。

4.根据权利要求3所述的方法，其特征在于，所述上采样模块包括一个卷积层、一个pixelshuffle层、一个卷积层和一个pixelshuffle层并依次连接。

5.根据权利要求2或3所述的方法，其特征在于，所述残差级联模块由若干残差块首尾连接构成，所述残差块包含若干个多尺度残差注意力块与一个卷积神经网络。

6.根据权利要求5所述的方法，其特征在于，所述多尺度残差注意力块包括大尺度残差注意力块、中尺度残差注意力块和小尺度残差注意力块；所述大尺度残差注意力块、中尺度残差注意力块和小尺度残差注意力块均分别由一个卷积层、一个relu激活函数层以及一个卷积层依次连接构成。

7.根据权利要求1所述的方法，其特征在于，所述第一生成器的损失函数由像素损失和对抗损失相加构成。

8.根据权利要求1所述的方法，其特征在于，所述第二生成器的损失函数由像素损失、感知损失和对抗损失相加构成；其中，所述感知损失为合成低分辨率图像及其对应的真实高分辨率图像经过特征提取器的特征向量之间的逐元素差值的总和。

9.一种基于两阶段生成对抗网络的图像超分辨率装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-8中任一项所述的一种基于两阶段生成对抗网络的图像超分辨率方法。

10.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，用于实现权利要求1-8中任一项所述的一种基于两阶段生成对抗网络的图像超分辨率方法。