高分辨率图像生成方法、装置、设备、存储介质与流程

本申请涉及图像处理，尤其涉及一种高分辨率图像生成方法、装置、设备、存储介质。

背景技术：

1、扩散模型最近在深度生成模型领域中突显出一种范式转变，在诸多应用领域中展示出了无与伦比的性能，包括文本到图像生成、图像编辑、一致的图像序列生成，甚至在具有挑战性的文本到视频生成领域取得了令人期待的结果。

2、近年来，随着互联网的快速发展，文生图模型在艺术、医疗、广告营销等诸多行业已经具有了广泛的应用场景，推动了人工智能与图像生成技术的发展和应用。

3、实现更高分辨率的及任意纵横比图像生成具有高度的必要性和现实意义。

技术实现思路

1、为了解决上述技术缺陷之一，本申请提供了一种高分辨率图像生成方法、装置、设备、存储介质。

2、本申请第一个方面，提供了一种高分辨率图像生成方法，该方法包括：

3、从生成低分辨率图像开始，将低分辨率图像作为当前处理图像，对当前处理图像进行去噪处理，并基于去噪后的图像预测纯净图像；

4、将预测的纯净图像上采样，并添加噪声，得到加噪图像；

5、将加噪图像作为当前处理图像，重复执行对当前处理图像进行去噪处理的步骤及后续步骤，直至重复执行次数达到预设次数；

6、将当前预测的纯净图像确定为高分辨率图像。

7、可选地，对当前处理图像进行去噪处理，包括：

8、对当前处理图像进行多步去噪处理；

9、其中，任一步去噪处理时的去噪后图像的潜在空间变量

10、其中，t为去噪步数标识，zt为第t步去噪后图像的潜在空间变量，αt为第t步的加噪系数，αt＝1-βt，βt为第t步加噪时的扩散速度，为在第t步的加噪处理参数，i为步数标识，c为文本提示条件，θ为噪声预测参数，∈θ(zt，t，c)为第t步的预测噪声，σt为预设系数，∈为从标准高斯分布中抽取的噪声。

11、可选地，对当前处理图像进行去噪处理，包括：

12、对当前处理图像进行多步去噪处理；

13、其中，任一步去噪处理时的去噪后图像的潜在空间变量

14、其中，t为去噪步数标识，zt为第t步去噪后图像的潜在空间变量，αt为第t步的加噪系数，αt＝1-βt，βt为第t步加噪时的扩散速度，为在第t步的加噪处理参数，i为步数标识，c为文本提示条件，θ为噪声预测参数，c1为图像条件，∈θ(zt，t，c，c1)为第t步的预测噪声，σt为预设系数，∈为从标准高斯分布中抽取的噪声。

15、可选地，基于去噪后的图像预测纯净图像，包括：

16、预测纯净图像的潜在空间变量

17、其中，为预测的纯净图像的潜在空间变量，zt为去噪后的图像，t为得到去噪后的图像的步数，αt为第t步的加噪系数，αt＝1-βt，βt为第t步加噪时的扩散速度，为在第t步的加噪处理参数，j为步数标识，c为文本提示条件，θ为噪声预测参数，∈θ(zt，t，c)为第t步的预测噪声。

18、可选地，基于去噪后的图像预测纯净图像，包括：

19、预测纯净图像的潜在空间变量

20、其中，为预测的纯净图像的潜在空间变量，zt为去噪后的图像，t为得到去噪后的图像的步数，αt为第t步的加噪系数，αt＝1-βt，βt为第t步加噪时的扩散速度，为在第t步的加噪处理参数，j为步数标识，c为文本提示条件，θ为噪声预测参数，c1为图像条件，∈θ(zt，t，c，c1)为第t步的预测噪声。

21、可选地，采用u-net模型预测噪声；

22、其中，u-net模型采用如下卷积公式实现：

23、(f*δk)(p)＝∑s+δt＝pf(s)·k(m)；

24、其中，f为特征图，δ为预设的扩张率，k为卷积核，p为卷积参数，s为特征图内的空间位置，m为卷积核内的空间位置。

25、可选地，u-net模型通过如下等式控制每次降噪的噪声幅度：

26、

27、其中，γ调节系数，snrh×w为去噪前低分辨率图像的信噪比，为去噪后高分辨率图像的信噪比；

28、任一图像的信噪比t为去噪步数标识，为在第t步的加噪处理参数，i为步数标识，αt为第t步的加噪系数，αt＝1-βt，βt为第t步加噪时的扩散速度。

29、本申请第二个方面，提供了一种高分辨率图像生成装置，该装置包括：

30、第一处理模块，用于从生成低分辨率图像开始，将低分辨率图像作为当前处理图像，对当前处理图像进行去噪处理，并基于去噪后的图像预测纯净图像；

31、第二处理模块，用于将预测的纯净图像上采样，并添加噪声，得到加噪图像；

32、循环模块，用于将加噪图像作为当前处理图像，重复执行对当前处理图像进行去噪处理的步骤及后续步骤，直至重复执行次数达到预设次数；

33、确定模块，用于将当前预测的纯净图像确定为高分辨率图像。

34、本申请第三个方面，提供了一种电子设备，包括：

35、存储器；

36、处理器；以及

37、计算机程序；

38、其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上述第一个方面所述的方法。

39、本申请第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行以实现如上述第一个方面所述的方法。

40、本申请提供一种高分辨率图像生成方法、装置、设备、存储介质，该方法，包括：从生成低分辨率图像开始，将低分辨率图像作为当前处理图像，对当前处理图像进行去噪处理，并基于去噪后的图像预测纯净图像；将预测的纯净图像上采样，并添加噪声，得到加噪图像；将加噪图像作为当前处理图像，重复执行对当前处理图像进行去噪处理的步骤及后续步骤，直至重复执行次数达到预设次数；将当前预测的纯净图像确定为高分辨率图像。本申请提供的方法可以生成高质量的高分辨率图像。

1.一种高分辨率图像生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述当前处理图像进行去噪处理，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述当前处理图像进行去噪处理，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于去噪后的图像预测纯净图像，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于去噪后的图像预测纯净图像，包括：

6.根据权利要求2至5任一权利要求所述的方法，其特征在于，采用u-net模型预测噪声；

7.根据权利要求6所述的方法，其特征在于，所述u-net模型通过如下等式控制每次降噪的噪声幅度：

8.一种高分辨率图像生成装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；所述计算机程序被处理器执行以实现如权利要求1-7任一项所述的方法。