一种图像还原方法

本发明属于图像处理领域，涉及一种图像还原方法，尤其涉及一种超构透镜图像还原方法。

背景技术：

1、超构透镜(metalens)是一种使用超表面来聚焦光线的平面透镜。它通过一系列人工天线(即超表面结构)来操纵入射光的光学响应，包括其幅度、相位和偏振。超构透镜能够在极薄的层面上完成复杂的光学操作，实现与传统透镜相似的聚焦效果，但体积更小、重量更轻。超构透镜具有以下优势：

2、轻薄高效：超构透镜的厚度仅为百纳米至微米级，远小于传统透镜，且能够实现高效的光学聚焦；

3、低成本大批量生产：通过半导体芯片工艺进行生产，大大降低了生产成本，适合大规模应用；

4、多功能性：超构透镜还可以实现偏振操纵、分裂等附加功能，满足更多复杂应用场景的需求；

5、超构透镜相机广泛应用于摄影摄像、ar/vr、航空航天、智能汽车、显微成像等领域。它们能够显著减小相机系统的尺寸和重量，提高成像质量和性能。

6、然而，超构透镜成像仍存在以下问题：

7、色散与色差：超构透镜的内在特性导致其相位变化依赖于波长，这会引起色散问题，导致不同波长的光在成像时产生色差，进而影响图像的清晰度和色彩准确性。例如，在光电计算融合超构透镜的研究中，色差是限制其广泛应用的关键因素之一。

8、复杂的光学过程：无透镜相机或基于超构透镜的成像系统，其成像过程往往涉及复杂的衍射、干涉等光学现象，这些现象使得场景信息在传感器上形成复杂的图案或条纹，而非直接清晰的图像。

9、通过图像还原技术，可以校正由于色散、衍射等效应导致的图像模糊，恢复出更加清晰的图像细节。例如，在光电计算融合的研究中，经过处理后的图像在边缘提取对比实验中呈现出更为清晰的轮廓。图像还原技术能够学习到色差的映射关系，从而还原出彩色图像的原始色彩，提高色彩还原度。

10、随着深度学习的发展，基于深度学习的方法比如u-net对于超构透镜图像还原提供了一种新的途径。但是目前这类算法研究主要针对运动去模糊、失焦等场景，无法直接应用于超构透镜，因此针对超构透镜图像的特点，结合超构透镜的先验信息，有效融合图像特征信息，值得进一步研究探索。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种图像还原方法。

2、为达到上述目的，本发明提供如下技术方案：

3、一种图像还原方法，其包括以下步骤：

4、s1、构建数据集，采集真值图像和超构透镜成像图像建立数据对，形成数据集；

5、s2、构建至少包括生成器和判别器的图像还原模型，其中，生成器至少包括图像特征提取模块、特征传播模块以及特征解码模块，其通过将超构透镜成像图像进行多尺度特征融合后输出重构图像；判别器将重构图像和对应的真值图像作为判别器的输入，通过对重构图像和真值图像进行分块判别以指导图像还原模型生成质量更高的还原图像；

6、s3、为构建的图像还原模型构建损失函数，其包括基于条件对抗生成网络的损失函数以及图像还原损失函数；

7、s4、基于构建的数据集以及损失函数对图像还原模型进行训练；

8、s5、采用训练完成的图像还原模型中的生成器对通过超构透镜成像模组实时采集的超构透镜成像图像进行还原，输出还原图像。

9、进一步，在图像还原模型的生成器中，图像特征提取模块通过若干次下采样卷积生成若干尺度的输入特征，通过对应的通道信息进行提取，包括多个平面卷积以及通过跳跃连接融合同一尺度不同特征层的信息和上采样融合其他尺度的特征信息，最后输出经过融合的多个尺度的特征信息；

10、图像特征提取模块提取的特征信息按照对应的尺度通道输入至特征传播模块的先验信息特征传播层中，通过基于超构透镜点扩散函数先验信息的去模糊算法对各个尺寸的特征信息进行处理，再按照各自的通道传递至特征解码模块；

11、特征解码模块于不同尺度的特征输入采用全卷积网络模型，通过融合不同尺度的特征信息，实现多尺度特性信息的从特征空间转换为图像空间转换，输出重构图像。

12、进一步，在特征提取模块中，图像首先按照原始尺寸输入到图像特征提取模块中，图像特征提取模块通过不同尺度的下采样操作建立不同尺度的信息通道；

13、其中，采用第一采样尺度的下采样操作得到第一采样尺度通道，采用第二采样尺度的下采样操作得到第二采样尺度通道，从而共得到原始尺度通道、第一采样尺度通道以及第二采样尺度通道；

14、在原始尺度通道、第一采样尺度通道以及第二采样尺度通道中，分别同步采用若干个与各自通道对应的平面卷积层来提取特征；

15、然后再经过多个平面卷积层后，图像特征提取模块的各个尺度通道均设置有一跳跃连接层，通过跳跃连接层将同一尺度内不同层的特征信息进行融合；

16、融合后的特征再采用若干个平面卷积层进一步提取特征信息；

17、在经过若干平面卷积层进一步提取特征后，第二采样尺度通道中的特征直接输入至特征传播模块中的与图像特征提取模块对应的第二采样尺度通道下的先验信息特征传播层中；并且，第二采样尺度通道中的特征还经过上采样操作将第二采样尺度通道中的特征调整为第一采样尺度；

18、将第一采样尺度通道中的特征与第二采样尺度通道中的特征经过一个平面卷积层进行融合，融合后直接输入至特征传播模块中的与图像特征提取模块对应的第一采样尺度通道下的先验信息特征传播层中；并且，在第一采样尺度通道中的融合了第二采样尺度通道中的特征后的融合特征同样通过一个的上采样操作调整为原始尺寸，通过一个平面卷积层在原始尺寸通道内与原始尺寸通道中的特征进行融合，融合后的原始尺寸通道中的特征同样直接输入特征传播模块中的先验信息特征传播层中。

19、进一步，在特征传播模块中，针对图像特征提取模块中的原始尺寸、第一采样尺寸以及第二采样尺度通道对应设置有原始尺寸下的先验信息特征传播层、第一采样尺寸下的先验信息特征传播层以及第二采样尺寸下的先验信息特征传播层；

20、每个通道对应的先验信息特征传播层将每个尺度的特征信息输入基于超构透镜点扩散函数先验信息的还原模型进行去模糊处理；

21、点扩散函数信息采用降采样的方式匹配不同尺度的特征尺寸要求，其采用显式的基于模型的去模糊算法，包括采用维纳滤波算法或者richardson-lucy算法，通过将维纳滤波或者richardson-lucy算法的参数设计为可优化的权重信息参与训练。

22、进一步，若特征传播模块采用维纳滤波实现，则其计算表达式为：

23、

24、其中，k是图像的信噪比信息，h(u,v)是超构透镜点扩散函数的频域变换，g(u,v)为图像特征提取模块输出的特性信息的频域变换，最后通过为进行逆傅里叶变换作为特征传播模块的输出。

25、若特征传播模块采用richardson-lucy算法实现，则其计算表达式为：

26、

27、其中：初始f(x,y)表示真值图像经特征提取模块输出的特征信息，*表示卷积操作，h(x,y)和g(x,y)分别代表点扩散函数信息和模糊图像特征提取模块输出的特征信息，n表示图像的迭代次数。

28、进一步，在特征解码模块中，特征解码模块对各个尺度通道中的特征进行融合以输出重构图像，其中，

29、特征解码模块同样包括原始尺寸通道、第一采样尺寸通道以及第二采样尺寸通道，在每个通道接收到不同尺度的特征信息后首先采用一个se注意力网络层基于通道注意力机制对特征进行处理；

30、然后在原始尺度通道中，先采用若干平面卷积层进行处理得到原始尺寸特征图像，将原始尺寸特征图像进行一次下采样操作后与第一采样尺寸通道中的特征进行融合，经过若干平面卷积层进行处理后得到第一采样尺寸特征图像；

31、然后再对第一采样尺寸特征图像进行一次下采样操作，将其与第二采样尺寸通道中的特征图像通过若干个平面卷积层进行结合得到第二采样尺寸特征图像；

32、接着，再将第二采样尺寸特征图像经过一次上采样操作后，通过一个跳跃连接层与第一采样尺寸特征进行融合，融合后的特征图像再通过若干平面卷积层处理后再通过一个上采样操作调整为与原始尺寸相同的图像；

33、再在原始尺寸通道内通过一个跳跃连接层与原始尺寸特征图像进行融合，融合后经过若干平面层处理，处理完成后输出重构图像。

34、进一步，在图像还原模型的判别器中，其基于patchgan的架构，将输入的重构图像和真值图像进行分块判别，通过对图像进行分块，建立n*n个块，分别对每个块进行判别分类，最后对所有块的计算结果取平均，输出最终判别器结果。

35、进一步，损失函数表示为：

36、

37、其中，g为生成器输出的图像，d为判别器输出的图像；

38、损失函数包括两个部分，基于条件对抗生成网络的损失函数以及图像还原损失函数；

39、基于条件对抗生成网络的损失函数表示为：

40、

41、图像还原损失函数包括l2损失函数和基于梯度信息的损失函数其中：

42、

43、梯度计算核函数定义为：

44、k1＝[1-1],

45、本发明的有益效果在于：

46、本发明在图像处理过程中，充分采纳并应用了超构透镜图像的先验信息。为了实现更精细的结构细节捕捉，技术中融入了多尺度卷积操作。这种操作能够跨越不同的空间尺度提取特征，从而确保图像中的各种大小结构都能被有效地识别和处理。

47、此外，通过通道融合技术，将从不同卷积层提取的特征进行了有效的整合。这种融合不仅丰富了特征表示，还显著增强了全局特征的提取能力，使得算法能够更全面地理解图像内容。

48、为了进一步提升图像恢复的质量，采用了条件生成对抗网络(conditionalgenerative adversarial nets,cgan)结构。在这种结构中，生成器的任务是生成尽可能真实的清晰图像，而判别器则努力区分生成的图像和真实的清晰图像。通过这种对抗性训练，生成器学习到的图像恢复能力得到了显著提高。

49、最终，该方法在图像去模糊还原方面展现出了优越的性能，本发明的应用并不仅限于此，实际上，还可以被灵活地应用于其他各种公开的模糊图像数据集任务中，展现出广泛的适用性和实用性。

50、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。