人脸图像合成方法和装置、电子设备及存储介质与流程

本技术涉及人工智能及金融，尤其涉及一种人脸图像合成方法和装置、电子设备及存储介质。

背景技术：

1、在金融领域中，人脸图像合成技术已广泛应用于广告、宣传视频及指导视频的制作，人脸图像合成技术能够根据目标人脸特性，将原始人脸的表情乃至整体人脸进行个性化替换，以合成新的人脸图像。

2、然而，目前的人脸图像合成技术难以精准捕捉并再现人脸图像间的微妙差异，导致合成得到的人脸图像的自然度较低。

3、因此，如何提高人脸图像合成的自然度，成为了亟待解决的技术问题。

技术实现思路

1、本技术实施例的主要目的在于提出一种人脸图像合成方法和装置、电子设备及存储介质，旨在提高人脸图像合成的自然度。

2、为实现上述目的，本技术实施例的第一方面提出了一种人脸图像合成方法，所述方法包括：

3、获取原始人脸图像，并通过预设的人脸图像编码器对所述原始人脸图像进行人脸编码得到原始人脸编码数据，通过预设的风格图像编码器对所述原始人脸图像进行风格编码得到原始人脸风格数据；

4、获取目标人脸图像，并通过所述人脸图像编码器对所述目标人脸图像进行人脸编码得到目标人脸编码数据；其中，所述目标人脸图像与所述原始人脸图像不相同；

5、通过预先训练的目标人脸差异识别模型对所述原始人脸编码数据、所述原始人脸风格数据和所述目标人脸编码数据进行人脸差异计算，得到目标图像差异特征数据；

6、将所述目标图像差异特征数据和所述原始人脸风格数据进行特征拼接，得到目标人脸特征数据；

7、基于所述目标人脸特征数据进行人脸图像合成，得到目标人脸合成图像。

8、在一些实施例，所述方法还包括训练所述目标人脸差异识别模型，具体包括：

9、获取人脸样本数据，所述人脸样本数据包括第一人脸样本图像和第二人脸样本图像；其中，所述第一人脸样本图像和所述第二人脸样本图像不相同；

10、通过所述人脸图像编码器对所述第一人脸样本图像进行人脸编码得到第一人脸编码数据，通过所述风格图像编码器对所述第一人脸样本图像进行风格编码得到第一人脸风格数据；

11、通过所述人脸图像编码器对所述第二人脸样本图像进行人脸编码得到第二人脸编码数据，通过所述风格图像编码器对所述第二人脸样本图像进行风格编码得到第二人脸风格数据；

12、通过预设的原始人脸差异识别模型对所述第一人脸编码数据、所述第二人脸编码数据和所述第一人脸风格数据进行人脸差异计算，得到样本图像差异特征数据；

13、基于所述第一人脸风格数据、所述第二人脸风格数据和所述样本图像差异特征数据对所述原始人脸差异识别模型进行模型调整，得到所述目标人脸差异识别模型。

14、在一些实施例，所述基于所述第一人脸风格数据、所述第二人脸风格数据和所述样本图像差异特征数据对所述原始人脸差异识别模型进行模型调整，得到所述目标人脸差异识别模型，包括：

15、对所述第一人脸风格数据和所述第二人脸风格数据进行特征差计算，得到人脸风格特征差异数据；

16、基于所述样本图像差异特征数据和所述人脸风格特征差异数据进行损失计算，得到特征差异损失数据；

17、基于所述特征差异损失数据对所述原始人脸差异识别模型进行模型优化，得到所述目标人脸差异识别模型。

18、在一些实施例，所述通过预先训练的目标人脸差异识别模型对所述原始人脸编码数据、所述原始人脸风格数据和所述目标人脸编码数据进行人脸差异计算，得到目标图像差异特征数据，包括：

19、对所述原始人脸编码数据和所述目标人脸编码数据进行特征差计算，得到人脸编码特征差异数据；

20、将所述目标人脸编码数据、所述人脸编码特征差异数据和所述原始人脸风格数据进行特征拼接，得到目标拼接特征数据；

21、通过所述目标人脸差异识别模型对所述目标拼接特征数据进行差异特征计算，得到所述目标图像差异特征数据。

22、在一些实施例，所述基于所述目标人脸特征数据进行人脸图像合成，得到目标人脸合成图像，包括：

23、对所述目标人脸特征数据进行加噪处理，得到人脸噪声特征数据；

24、对所述人脸噪声特征数据进行特征映射，得到人脸特征图数据；

25、对所述人脸特征图数据进行采样处理，得到人脸采样特征数据；

26、对所述人脸采样特征数据进行图像生成，得到所述目标人脸合成图像。

27、在一些实施例，所述获取原始人脸图像，包括：

28、获取原始视频；

29、对所述原始视频进行视频帧抽取，得到原始视频帧图像；

30、对所述原始视频帧图像进行人脸识别，得到所述原始人脸图像。

31、在一些实施例，在所述基于所述目标人脸特征数据进行人脸图像合成，得到目标人脸合成图像之后，所述方法还包括：

32、基于所述目标人脸合成图像和所述原始人脸图像从所述原始视频帧图像中筛选出人脸替换图像；

33、将所述人脸替换图像替换为所述目标人脸合成图像，得到目标视频帧图像；

34、获取所述原始视频的视频帧率；

35、基于所述视频帧率和所述目标视频帧图像进行视频生成。

36、为实现上述目的，本技术实施例的第二方面提出了一种人脸图像合成装置，所述装置包括：

37、原始人脸图像处理模块，用于获取原始人脸图像，并通过预设的人脸图像编码器对所述原始人脸图像进行人脸编码得到原始人脸编码数据，通过预设的风格图像编码器对所述原始人脸图像进行风格编码得到原始人脸风格数据；

38、目标人脸图像处理模块，用于获取目标人脸图像，并通过所述人脸图像编码器对所述目标人脸图像进行人脸编码得到目标人脸编码数据；其中，所述目标人脸图像与所述原始人脸图像不相同；

39、人脸图像差异计算模块，用于通过预先训练的目标人脸差异识别模型对所述原始人脸编码数据、所述原始人脸风格数据和所述目标人脸编码数据进行人脸差异计算，得到目标图像差异特征数据；

40、人脸特征拼接模块，用于将所述目标图像差异特征数据和所述原始人脸风格数据进行特征拼接，得到目标人脸特征数据；

41、图像合成模块，用于基于所述目标人脸特征数据进行人脸图像合成，得到目标人脸合成图像。

42、为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

43、为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

44、本技术提出的人脸图像合成方法和装置、电子设备及存储介质,其通过获取原始人脸图像，并通过预设的人脸图像编码器对原始人脸图像进行人脸编码得到原始人脸编码数据，通过预设的风格图像编码器对原始人脸图像进行风格编码得到原始人脸风格数据；获取目标人脸图像，并通过人脸图像编码器对目标人脸图像进行人脸编码得到目标人脸编码数据；其中，目标人脸图像与原始人脸图像不相同；通过预先训练的目标人脸差异识别模型对原始人脸编码数据、原始人脸风格数据和目标人脸编码数据进行人脸差异计算，得到目标图像差异特征数据；将目标图像差异特征数据和原始人脸风格数据进行特征拼接，得到目标人脸特征数据；基于目标人脸特征数据进行人脸图像合成，得到目标人脸合成图像。能够充分利用已学习到的图像间差异特征数据来精确调整合成的图像，保留了目标人脸图像的人脸特征和原始人脸图像的身份特征、风格元素，提高了人脸图像合成的自然度和质量。