一种空频融合的低光照图像增强方法及系统与流程

本发明涉及图像增强，尤其涉及一种空频融合的低光照图像增强方法及系统。

背景技术：

1、由于低光照条件下的图片具有较低的信噪比，使得低光照raw域（低光域）去噪声这一任务在计算机视觉的low-level（底层）任务上有一席之位。又由于raw域到srgb域的转换涉及到复杂的非线性的isp（图像信号处理）变换，例如白平衡，颜色矫正，伽马矫正等，使得单纯地通过数据上的变换难以实现。随着深度学习的发展，运用神经网络来解决这一问题展现出了很好的效果。

2、chen等人首先在论文learning to see in the dark（学习在黑暗中看东西）中提出一套基于深度学习raw域去噪声的方法，并发布sid数据集。从此，各研究者在该领域大放异彩，方法层出不穷，例如使用图像分割领域经典的unet网络，亦或是引入一些高效卷积模块来提取特征，也不乏一些运用解耦思想分阶段完成任务，第一阶段进行raw域去噪，第二阶段进行颜色矫正并转换到srgb空间。这些方法在公开数据集sid，mcr等上均表现出不错的效果。

3、现有的大多数基于深度学习方法完成该任务的几乎都是全卷积网络，这会导致两个问题。第一，卷积核的感受野受制于卷积核的大小，常用的小卷积核如3×3对于大尺寸的raw图像并不合适；第二，卷积操作往往伴随着大量的参数，计算量大，造成成本高，而且图像的增强效果也不好。

技术实现思路

1、基于背景技术存在的技术问题，本发明提出了一种空频融合的低光照图像增强方法及系统，有助于提取图像的纹理细节和去噪声能力。

2、本发明提出的一种空频融合的低光照图像增强方法，对所获取到的原始低光图像预处理后输入到训练完成的图像增强模型，以输出原始低光图像对应的高分辨率图像；

3、所述图像增强模型的训练过程如下：

4、步骤一、获取原始低光图像并预处理，以构建训练数据集；

5、步骤二、将训练数据集中的低光图像依次输入到共享权重编码器组件、去噪解码组件和颜色矫正解码组件中，在共享权重编码器组件中，层间为下采样，在去噪解码组件以及颜色矫正解码组件中，层间为上采样；

6、步骤三、将低光图像依次输入到共享权重编码器组件、去噪解码组件，经过编码、卷积去噪，去噪解码组件中每层输出第一暂态编码特征图；

7、步骤四、将低光图像再次输出到共享权重编码器组件中，每层融合第一暂态编码特征图并经过层层编码，共享权重编码器组件输出终态编码特征图；

8、步骤五、将终态编码特征图输入到颜色矫正解码组件中，经过层层矫正，颜色矫正解码组件输出融合特征；

9、步骤六、将融合特征进行卷积操作后，使用像素洗牌操作得到rgb图像；将所得到的rgb图像与原始低光图像对应的干净图像计算损失，以更新图像增强模型的模型参数。

10、进一步地，在共享权重编码器组件中，由第一层共享权重编码器到第n层共享权重编码器依次连接，在去噪解码组件中，由第n层去噪解码器到第一层去噪解码器依次连接；

11、第一暂态编码特征图的生成过程如下：

12、每层共享权重编码器均包括空间域分支和频率域分支，空间域分支采用状态空间模型，在当前层共享权重编码器中，输入的二维特征图通过z形扫描被拉成一维向量，利用线性常微分方程框架将一维向量通过潜在状态转化输出空域特征，当前层输入的二维特征图通过频率域分支输出频域特征，将空域特征通过卷积去噪后与频域特征融合得到当前层共享权重编码器输出的临时融合特征图；

13、将第n层共享权重编码器输出的临时融合特征图输入到第n层去噪解码器，将经过当前层的下一层去噪解码器上采样产生的去噪特征图与当前同层共享权重编码器输出的临时融合特征图融合，以作为当前层去噪解码器的输入，经过卷积去噪，当前层去噪解码器输出第一暂态编码特征图。

14、进一步地，输入的二维特征图通过z形扫描被拉成一维向量，具体为：

15、对二维特征图按像素进行横向扫描和纵向扫描，得到两个方向的特征向量；

16、将所得到的两个方向的特征向量逆转，得到另外两个方向的特征向量；

17、将所得到的四个方向的特征向量拉平，得到一维向量。

18、进一步地，在步骤四中，终态编码特征图的生成如下：

19、将当前层的上一层共享权重编码器下采样得到的第二暂态编码特征图与当前同层去噪解码器输出的第一暂态编码特征图融合作为当前层共享权重编码器的输入，经过编码，当前层共享权重编码器输出第三暂态编码特征图，经过层层编码，第n层共享权重编码器输出终态编码特征图。

20、进一步地，在颜色矫正解码组件中，由第n层颜色矫正解码器到第一层颜色矫正解码器依次连接，在步骤五中，融合特征的生成如下：

21、当前层的下一层颜色矫正解码器上采样产生的特征与当前同层共享权重编码器输出的第三暂态编码特征图融合以作为当前层颜色矫正解码器的输入，经过层层矫正，第一层颜色矫正解码器输出融合特征。

22、进一步地，在步骤六中，将所得到的rgb图像与原始低光图像对应的干净图像计算损失，具体为：

23、对rgb图像进行快速傅里叶变换得到rgb图像对应的幅度谱和相位谱；

24、计算rgb图像对应的幅度谱和相位谱以及干净图像对应的幅度谱和相位谱计算损失函数，以更新图像增强模型的模型参数。

25、进一步地，所述损失函数具体如下：

26、；

27、；

28、；

29、其中，表示空间域损失，表示频率域损失，为空间域损失项的均衡系数，为频率域损失项的均衡系数，表示一范数，表示图像增强模型输出的raw图像，表示不含噪声的raw图像，表示图像增强模型输出的srgb图像，表示不含噪声的srgb图像，、分别表示对输入做快速傅里叶变换后的幅度谱a与相位谱p。

30、进一步地，在步骤一中，对原始低光图像进行如下预处理为：对原始低光图像减去黑电平后依次进行数据变换和数据增强处理，基于预处理后的图像构建训练数据集。

31、一种空频融合的低光照图像增强系统，对所获取到的原始低光图像预处理后输入到训练完成的图像增强模型，以输出原始低光图像对应的高分辨率图像；

32、所述图像增强模型的训练过程如下：

33、步骤一、获取原始低光图像并预处理，以构建训练数据集；

34、步骤二、将训练数据集中的低光图像依次输入到共享权重编码器组件、去噪解码组件和颜色矫正解码组件中，在共享权重编码器组件中，层间为下采样，在去噪解码组件以及颜色矫正解码组件中，层间为上采样；

35、步骤三、将低光图像依次输入到共享权重编码器组件、去噪解码组件，经过编码、卷积去噪，去噪解码组件中每层输出第一暂态编码特征图；

36、步骤四、将低光图像再次输出到共享权重编码器组件中，每层融合第一暂态编码特征图并经过层层编码，共享权重编码器组件输出终态编码特征图；

37、步骤五、将终态编码特征图输入到颜色矫正解码组件中，经过层层矫正，颜色矫正解码组件输出融合特征；

38、步骤六、将融合特征进行卷积操作后，使用像素洗牌操作得到rgb图像；将所得到的rgb图像与原始低光图像对应的干净图像计算损失，以更新图像增强模型的模型参数。

39、本发明提供的一种空频融合的低光照图像增强方法及系统的优点在于：构建了图像增强模型wnet，对任务进行解耦，先去噪声，再做颜色矫正。使用cnn（卷积神经网络）来提取图像局部特征，并引入ssm（状态空间模型）增大网络的感受野来提取全局特征，同时改进其扫描方式为z形扫描，强调图像空间的连续性，有助于图像面增强模型更高效的学习，并引入对角扫描机制，充分利用相邻像素的信息，对朴素扫描方式的不足进行补充。此外，本实施例引入了空-频融合机制，使得图像增强模型不仅能学习到空域上的信息，也能够学习到频域上的信息，从而有助于提取图像的纹理细节和去噪声能力；同时计算量相较于现有的全卷积网络，计算量降低，成本低，同时图像的增强效果较佳。