基于双池化注意力与像素自适应卷积的古画色彩重建方法

本发明属于图像处理及人工智能，具体涉及到用于古画色彩重建的方法。

背景技术：

1、由于自然环境或是人为因素的影响，古画往往会出现不同程度的褪色和变色。这些因素很大程度上降低了古画的观赏性，并对古画的历史文化价值产生了不可忽视的影响。因此，进行古画的色彩重建，具有重要的价值和意义。

2、古画色彩重建，是指通过手工或者数字化的方法，在保留古画结构信息和内容细节的前提下，增强古画的背景和山水树石等构图要素的色彩，改善古画褪色、变色的现象。手工进行色彩重建需要深入分析古画的绘画风格、内容、技法等因素，效率较低，甚至容易造成古画的损坏。随着计算机技术的不断发展，数字化色彩重建技术得到广泛应用。使用数字化方法进行色彩重建，易于修改重建的结果，并且避免在真实的古画上进行操作，不会造成古画的损坏。数字化的色彩重建方法主要分为传统方法和基于深度学习的方法。传统方法通常依赖于模型选择和参数设置，如使用多光谱成像技术识别颜料来进行古画色彩重建，但模型选择或参数设置不当可能会导致色彩重建效果不佳。

3、近年来，随着人工智能的发展，深度学习广泛应用于色彩重建技术中，通过深入学习古画特征，提升了色彩重建的效果。使用深度学习技术进行古画色彩重建，通常需要构建古画色彩重建的数据集，建立模型进行训练，学习古画的语义、色彩等特征，最终使用训练好的模型重建古画色彩。色彩重建模型通常使用vgg作为色彩风格编码器，这种方式难以保留图像的细节信息。同时，由于难以准确提取语义和色彩特征，重建结果往往会出现不正确的色彩。另外，由于模型通常从整体上处理图像，对于局部的色彩重建效果并不理想。

技术实现思路

1、本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种图像细节保留完整，色彩匹配准确的基于双池化注意力与像素自适应卷积的古画色彩重建方法。

2、解决上述技术问题所采用的技术方案步骤如下：

3、(1)构建古画色彩重建数据集

4、从博物馆网站和图像数据库中筛选符合中国古画特点的作品，收集包含不同朝代的水墨、青绿、浅绛风格的古画作品，将收集到的古画作品的高度h调整为512、宽度w调整为512像素，保存为jpg格式，筛选得到古画数据集，按照8：2划分为训练集、测试集。

5、(2)构建古画色彩重建网络

6、古画色彩重建网络由通道增加模块与可逆残差网络1、空间压缩模块1、可逆残差网络2、空间压缩模块2、可逆残差网络3、通道减少模块、色彩迁移模块依次串联构成。

7、所述的可逆残差网络1由结构相同依次串联的4个或6个可逆残差块构成；所述的可逆残差网络2、可逆残差网络3结构与可逆残差网络1的结构相同。

8、(3)训练古画色彩重建网络

9、1)构建整体损失函数ltotal

10、整体损失函数ltotal包括对比连续保持损失函数lccp、风格损失函数ls、匹配拉普拉斯损失函数lm、循环一致损失函数lcyc。

11、按下式确定整体损失函数ltotal：

12、ltotal＝λccplccp+λsls+λmlm+λcyclcyc

13、其中，λccp为对比连续保持损失函数lccp的系数，λccp∈(0,5]，λs为风格损失函数ls的系数，λs∈(0,2]，λm为匹配拉普拉斯损失函数lm的系数，λm∈(0,1500]，λcyc为循环一致损失lcyc的系数，λcyc∈(0,10]。

14、按下式确定对比连续损失函数lccp：

15、

16、其中，p表示进行向量减法的特征总对数，m表示进行向量减法的第m个特征对，表示色彩重建后古画的第m个相邻特征对之间的向量减法结果，表示色彩退化古画的第m个相邻特征对之间的向量减法结果，表示色彩退化古画的第n个相邻特征对之间的向量减法结果，τ是超参数，τ∈(0,0.1]，n表示进行向量减法的第n个特征对。

17、按下式确定风格损失函数ls：

18、

19、其中，is表示参考画作，ics表示色彩重建后的古画，使用预训练好的vgg19网络的第一层至第四层，提取古画图像特征，φi表示预训练好的vgg19网络的第i层的输出特征图，μ和σ分别表示均值和标准差，||·||2表示l2范数。

20、按下式确定匹配拉普拉斯损失函数lm：

21、

22、其中，n表示图像像素点的个数，vc[ics]是色彩重建后的古画图像ics在通道c上的向量化，t表示对得到的向量进行转置，m表示图像的匹配拉普拉斯矩阵。

23、按下式确定循环一致损失函数lcyc：

24、

25、其中，表示将重建古画输入网络，以退化古画作为参考，得到的结果图像，ic表示退化古画，||·||1表示l1范数。

26、2)训练古画色彩重建网络

27、将训练集输入到古画色彩重建网络中进行训练，训练过程的参数设置为：训练的服务器显卡为rtx 3090，使用adam优化器训练80000轮次，初始学习率为0.0001，训练的批次大小为2，训练至整体损失函数ltotal收敛。

28、(4)保存网络

29、在训练古画色彩重建网络的过程中，每训练1个轮次，保存1次权重文件。

30、(5)测试古画色彩重建网络

31、将测试集输入到经过训练后的古画色彩重建网络中进行测试，输出色彩重建的古画。

32、在本发明的步骤(2)构建古画色彩重建网络中，所述的可逆残差块由双池化注意力模块与自适应特征提取模块串联构成。

33、本发明的双池化注意力模块由平均池化层与全局平均池化层、卷积核大小为3×3且步长为1的卷积层1、sigmoid激活函数层依次串联构成。

34、本发明的自适应特征提取模块由卷积核大小为3×3且步长为1的卷积层2与relu激活函数层1、卷积核大小为3×3且步长为1的卷积层3、relu激活函数层2、像素自适应卷积层依次串联构成。

35、本发明通过对中国古代古画作品进行筛选，构建古画色彩重建数据集，为古画的特征提取、色彩迁移提供了可靠的数据；构建的古画色彩重建网络能够保留古画的结构信息和内容细节，改善输入古画褪色、变色的现象，同时减少了不正确的色彩，增强了局部的色彩重建效果；采用了古画色彩重建网络，实现了计算机重建古画色彩。本发明具有重建结果细节保留清楚、色彩重建准确等优点，可用于计算机重建古画色彩。

1.一种基于双池化注意力与像素自适应卷积的古画色彩重建方法，其特征在于由下述步骤组成：

2.根据权利要求1所述的基于双池化注意力与像素自适应卷积的古画色彩重建方法，其特征在于：在步骤(2)构建古画色彩重建网络中，所述的可逆残差块由双池化注意力模块与自适应特征提取模块串联构成。

3.根据权利要求2所述的基于双池化注意力与像素自适应卷积的古画色彩重建方法，其特征在于：所述的双池化注意力模块由平均池化层与全局平均池化层、卷积核大小为3×3且步长为1的卷积层1、sigmoid激活函数层依次串联构成。

4.根据权利要求2所述的基于双池化注意力与像素自适应卷积的古画色彩重建方法，其特征在于：所述的自适应特征提取模块由卷积核大小为3×3且步长为1的卷积层2与relu激活函数层1、卷积核大小为3×3且步长为1的卷积层3、relu激活函数层2、像素自适应卷积层依次串联构成。