一种基于核引导的遥感图像全色锐化方法和系统

本发明属于遥感图像融合领域，涉及一种基于核引导的遥感图像全色锐化方法和系统，适用于去解决真实世界复杂退化场景的应用场景。

背景技术：

1、多光谱图像全色锐化旨在将同一场景下低空间分辨率的多光谱图像和高空间分辨率的全色图像进行融合，得到空间与全色图像一致、光谱与多光谱图像一致的高质量多光谱图像，以得到包含更多信息量的单幅图像。高质量的全色锐化图像有助于对遥感场景进行理解和解译，应用于变化检测、物体识别、农业分析等领域可大大提高了识别精度。

2、目前，存在多种多光谱图像全色锐化技术，包括成分替代法、多分辨率分析法、基于变分优化的方法和基于深度学习的方法。成分替代法和多分辨率分析法用于将全色图像的细节注入到多光谱图像中，但由于光谱成分和空间成分的不完全分离，常常会导致空间或光谱上的畸变，可能引起空间或光谱的失真。相比之下，基于变分的方法在平衡空间信息和光谱信息方面表现更好。然而，该方法的先验设计复杂，优化过程需要大量时间，这限制了其实际应用。

3、而随着遥感卫星不断发射，遥感数据越来越多，基于深度学习的方法开始流行，一些学者开始使用大量数据驱动模型训练，然后用训练模型来获取全色锐化图像。深度学习方法由于能够映射融合图像和参考图像之间复杂的非线性关系，全色锐化得到的结果较好，但训练域和测试域之间的不一致性，往往会带来模型的泛化问题。

4、近年来，研究者们将注意力集中在基于深度学习的多光谱图像全色锐化方法上，因为卷积神经网络在学习大规模数据中的图像特征方面具有优势。现有的基于深度学习的多光谱图像全色锐化方法通常依赖于wald协议来创建用于训练的仿真数据集。该协议规定了一个特定的退化过程，它仅利用单个固定的各向同性高斯模糊核；然后，基于这个固定的模糊水平，将全色图像中的空间细节注入到低分辨率多光谱图像中，以获得高分辨率多光谱图像。然而，现实世界中可能呈现出各种各样的退化类型，导致当遇到复杂的未知模糊核时，注入的细节不当，从而产生失真或伪影。因此，当应用于具有不匹配的退化过程的数据时，现有的基于深度学习的方法的性能可能会显著下降。因此，如何设计一种多光谱图像全色锐化架构，能够在未知的退化环境中很好地融合多光谱和全色图像为遥感图像融合领域的一项重要挑战。

技术实现思路

1、为了解决上述现有技术存在的问题，本发明提供一种基于核引导的遥感图像全色锐化方法。

2、本发明提供一种基于核引导的遥感图像全色锐化方法，包括以下步骤：

3、步骤1，基于模糊核的模糊程度，构建融合子网络融合多光谱和全色图像；

4、所述融合子网络的具体处理过程如下；

5、步骤1.1，将多光谱图像上采样，以匹配全色图像的尺寸；

6、步骤1.2，通过卷积层将上采样后的多光谱图像转换到特征域；

7、步骤1.3，使用n1个细节注入transformer模块将全色图像的细节特征注入到多光谱图像中；

8、步骤1.4，细节注入transformer模块的输出通过一个卷积层，从特征域恢复到图像域；

9、步骤2，基于融合子网络的融合图像和输入的低分辨的多光谱图像之间的关系，构建核估计子网络用于估计模糊核；

10、核估计子网络的具体处理过程如下：

11、步骤2.1，融合图像首先被下采样到与低分辨率多光谱图像相同大小的特征图像，表示为f1；

12、步骤2.2，低分辨率多光谱图像通过一个卷积层，得到一个特征图f2；

13、步骤2.3，f1和f2通过n3个双路单元即dp单元提取模糊特征f1_out和f2_out，并作为下一个dp单元的输入；

14、步骤2.4，最终得到的模糊特征经过若干个网络层转换为模糊核。

15、步骤3，构建图像融合模型，所述图像融合模型包括融合子网络和核估计子网络，利用核损失和重建损失相结合的目标损失函数驱动图像融合模型的训练；

16、步骤4，利用仿真数据训练上述图像融合模型，并利用训练好的模型在测试集上进行测试，最终得到的融合图像即实现了多光谱图像的全色锐化。

17、进一步的，所述融合子网络的具体处理过程还包括：

18、步骤1.5，在融合子网络的输入端与输出端添加残差连接，将上采样的多光谱图像连接到输出端以进一步保留多光谱图像的光谱信息。

19、进一步的，在步骤1.3中，每个细节注入transformer模块包含n2个细节注入单元，即di单元，用于向多光谱图像注入合适的细节，细节注入transformer模块的输入与输出端引入残差连接，并在残差连接分支上添加带有嵌入通道transformer块，即ctb模块。

20、进一步的，di单元的处理过程如下；

21、将全色图像与随机初始化的模糊核作为注入矩阵，并使用可学习的注入矩阵将全色图像的细节注入到多光谱图像中，由于不同模糊水平会影响注入到多光谱图像中的细节量，后续则利用估计得到的模糊核来更新可学习的注入矩阵中的模糊核参量；具体而言，模糊核经过注入增益学习模块学习注入增益图，该注入增益图表示在多光谱图像的各个位置的注入增益，所述注入增益学习模块包含四个层，假定输入注入增益学习模块的模糊核为k，输出的结果为k-map，则注入增益学习模块表示为：

22、k-map＝sigmod(conv(relu(conv(k))))

23、其中conv()表示3×3卷积，sigmod()表示sigmod激活函数，relu()表示relu激活函数；

24、全色图像通过卷积层以转换到特征域，然后将转到特征域的全色图像乘以注入增益图调整细节；此外，原始全色图像和调整后的全色图像之间使用残差连接，最终得到待注入的细节，然后通过将待注入的细节与细节注入transformer模块中的各层输出特征进行求和操作将所有细节注入到多光谱图像中。

25、进一步的，ctb模块的处理过程如下；

26、假设输入为首先对输入进行维度转换，得到其中h、w、c分别代表输入特征的高度、宽度以及通道数量；然后，三个可学习的矩阵wq、wk、wv与输入x相乘，得到查询向量q、键向量k、值向量v，

27、并分到多个注意力头上：

28、q＝[q1,q2,…,qh]

29、k＝[k1,k2,…,kh]

30、v＝[v1,v2,…,vh]

31、其中，c＝h×d。h是注意力头的数量，d是每个注意力头上的特征通道数；

32、然后，在每个注意力头上，计算qi和ki在每个注意力头上d个特征之间的空间相似性：

33、

34、其中，si表示第i个注意力头中d个特征之间的自相似性，σi表示用于调整结果的可学习参数；

35、然后，si被softmax函数归一化，并与vi相乘，得到第i个注意力头上的输出，然后，每个注意力头上的输出向量被连接起来并通过线性变换折叠成一个特征图最后，ctb利用卷积层对输入特征xin进行处理构建位置编码以标记特征通道之间的相对位置信息；通道注意力的输出与位置编码相结合，得到通道多头自注意力c-msa的最终输出，并在c-msa的输入与输出端引入残差链接；然后，通过由层归一化和卷积层组成的前馈层，得到ctb的最终输出，并在前馈层输入与输出端添加残差链接。

36、进一步的，在步骤2.3中，dp单元的具体实现方式如下；

37、在dp单元中，首先将f1和f2连接起来，并计算得到一个注入增益g；注入增益与f1和f2相乘，以便聚焦于f1和f2的重要特征，并压缩不重要的特征，然后与原始的f2相加，形成一个新的特征图，这个过程表示为：

38、g＝sigmoid(func(cat(f1,f2)))

39、f1_out＝func(f1)+f1

40、f2_out＝g·func(f1)+g·func(f2)+f2

41、其中，f1_out和f2_out代表输入的特征f1和f2经过dp单元处理后得到的输出，func(·)是conv-relu-conv操作，g是注入增益。

42、进一步的，在步骤2.4中，网络层通过卷积-池化-卷积-softmax实现。

43、进一步的，步骤3中构造的目标损失函数如下；

44、l＝limg+λlker

45、其中，λ是一个参数，用于平衡这两个损失项的重要性；limg为融合图像与相应参考图像之间的重构损失；lker是估计的核与参考核之间的损失，以帮助网络估计正确的核；这两个损失的表达式如下：

46、limg＝‖f-r‖1

47、lker＝‖k-kr‖1

48、其中，f和r分别是融合图像和相应的参考图像，k和kr分别是估计得到的模糊核和参考核。

49、进一步的，步骤4中还包括通过客观评价指标将测试结果与现有的算法进行比较，客观评价指标包括峰值信噪比、光谱角映射。

50、本发明还提供一种基于核引导的遥感图像全色锐化系统，包括包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上述技术方案所述的一种基于核引导的遥感图像全色锐化方法。

51、与现有技术相比，本发明的优点和有益效果：

52、本发明将核估计嵌入到融合网络中以利用核的先验信息，其包括两个子网络：一个核估计子网络和一个融合子网络。融合子网络基于由核估计子网络估计的模糊核来恢复高分辨率多光谱图像。特别是，在融合子网络中使用通道transformer来关注重要特征；在核估计子网络通过双路网络实现，核估计子网络利用了融合子网络得到的融合图像和低分辨率多光谱图像来估计模糊核，估计的模糊核被用于更新可学习矩阵，从而激励融合子网络获得良好的融合结果。因此，本发明所提方法对复杂退化场景有较强的适应性，融合图像更清晰。