图像获取的方法、装置及相关设备与流程

本申请实施例涉及人工智能领域，尤其涉及一种图像获取的方法、装置及相关设备。

背景技术：

1、随着人工智能生成能力的发展，人们希望可以通过人工智能就能实现一些虚拟场景的模拟或者生成，虚拟试衣便是其中颇受关注的一个场景，人们希望可以立刻看到模特身上的衣服在自己身上的场景，或者是对自己照片中的衣服不满意，希望可以进行换装。在现有技术中，目前虚拟试衣大多基于形变的算法，这类形变算法由于不同试衣图而言，可能存在体型和动作差异较大的问题，从而导致生成的虚拟试衣图效果较差的问题。

技术实现思路

1、本申请实施例提供一种图像获取的方法、装置及相关设备，以解决现有技术中生成的虚拟试衣图效果较差的问题。

2、为解决上述问题，本申请是这样实现的：

3、第一方面，本申请实施例提供了一种图像获取的方法，所述方法包括：

4、对目标用户图像和目标服饰图像分别进行姿态估计，得到第一对应关系和第二对应关系，所述第一对应关系为所述目标用户与目标三维人体模型的对应关系，所述第二对应关系为所述目标模特与所述目标三维人体模型的对应关系；

5、利用所述目标三维人体模型分别对所述第一对应关系和所述第二对应关系进行参数化三维人体建模，得到第一纹理图像和第二纹理图像；

6、将所述第二纹理图像迁移到所述第一纹理图像中，生成所述目标用户穿着所述目标服饰的目标图像。

7、可选的，所述对目标用户图像和目标服饰图像分别进行姿态估计，得到第一对应关系和第二对应关系，包括：

8、将所述目标用户图像和所述目标服饰图像分别输入至人体二维姿态估计模型，输出多张第一特征图和多张第二特征图，所述多张第一特征图分别包括所述目标用户的多个身体部位，所述多张第二特征图分别包括所述目标服饰图像所对应的模特的多个身体部位；

9、基于目标卷积神经网络分别对所述多张第一特征图和所述多张第二特征图进行三维姿态估计，得到所述第一对应关系和所述第二对应关系，所述目标卷积神经网络基于所述目标三维人体模型生成。

10、可选的，所述将所述第二纹理图像迁移到所述第一纹理图像中，生成所述目标用户穿着所述目标服饰的目标图像，包括：

11、将所述第二纹理图像上的像素值填充到标准纹理展开图像中，得到第三纹理图像，所述标准纹理展开图像为标准人体三维模型进行展开得到的；

12、根据目标服饰图像确定偏移值，所述偏移值用于指示图像迁移时的参数信息；

13、根据所述偏移值将所述第三纹理图像迁移到所述第一纹理图像中，生成迁移图像；

14、将所述迁移图像输入至条件扩散模型进行图像修补和图像降噪，得到所述目标图像。

15、可选的，所述根据目标服饰图像确定偏移值，包括：

16、对所述目标服饰图像进行图像分解，得到漫反射颜色纹理图、法向量纹理图、高光纹理图以及粗糙度纹理图；

17、将所述漫反射颜色纹理图、所述法向量纹理图、所述高光纹理图以及所述粗糙度纹理图输入至编码器中，得到多个低维编码；

18、对所述多个低维编码对应的向量求均值，得到所述目标服饰的材质信息；

19、根据所述材质信息生成所述偏移值。

20、可选的，所述根据所述材质信息生成所述偏移值，包括：

21、通过语义分割模型对所述目标服饰图像进行分割，得到多个服饰区域，不同所述服饰区域对应所述目标服饰的不同位置；

22、在目标平面上对所述目标三维人体模型进行投影，得到目标向量，所述目标平面为所述目标三维人体模型的摄像平面；

23、根据所述目标向量在所述多个服饰区域中确定至少一个目标服饰区域，所述目标服饰区域为所述多个服饰区域中与所述目标向量存在交集的服饰区域；

24、将所述至少一个目标服饰区域输入至所述位移模型中，得到所述偏移值，所述位移模型用于计算所述至少一个目标服饰区域在所述目标用户图像上的位移偏移。

25、可选的，所述利用所述目标三维人体模型分别对所述第一对应关系和所述第二对应关系进行参数化三维人体建模，得到第一纹理图像和第二纹理图像之前，所述方法还包括：

26、获取训练数据集，所述训练数据集包括多张人体图像；

27、将所述训练数据集输入至回归模型，输出摄像机参数、动作参数和体型参数，所述摄像机参数为拍摄所述多张人体图像的摄像机参数，所述动作参数和所述体型参数为组成所述目标三维人体模型的参数；

28、根据所述摄像机参数、所述动作参数和所述体型参数对三维人体模型进行更新，得到所述目标三维人体模型。

29、第二方面，本申请实施例还提供一种图像获取的装置，所述装置包括：

30、估计模块，用于对目标用户图像和目标服饰图像分别进行姿态估计，得到第一对应关系和第二对应关系，所述第一对应关系为所述目标用户与目标三维人体模型的对应关系，所述第二对应关系为所述目标模特与所述目标三维人体模型的对应关系；

31、建模模块，用于利用所述目标三维人体模型分别对所述第一对应关系和所述第二对应关系进行参数化三维人体建模，得到第一纹理图像和第二纹理图像；

32、生成模块，用于将所述第二纹理图像迁移到所述第一纹理图像中，生成所述目标用户穿着所述目标服饰的目标图像。

33、第三方面，本申请实施例还提供一种电子设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，用于读取存储器中的程序实现如前述第一方面所述方法中的步骤。

34、第四方面，本申请实施例还提供一种可读存储介质，用于存储程序，所述程序被处理器执行时实现如前述第一方面所述方法中的步骤。

35、第五方面，本申请实施例还提供一种计算机程序产品，所述计算机程序产品被存储在存储介质中，所述计算机程序产品被至少一个处理器执行以实现如第一方面所述方法中的步骤。

36、本申请提供一种图像获取的方法、装置及相关设备，所述方法包括：对目标用户图像和目标服饰图像分别进行姿态估计，得到第一对应关系和第二对应关系，所述第一对应关系为所述目标用户与目标三维人体模型的对应关系，所述第二对应关系为所述目标模特与所述目标三维人体模型的对应关系；利用所述目标三维人体模型分别对所述第一对应关系和所述第二对应关系进行参数化三维人体建模，得到第一纹理图像和第二纹理图像；将所述第二纹理图像迁移到所述第一纹理图像中，生成所述目标用户穿着所述目标服饰的目标图像。本申请通过将目标用户图像和目标服饰图像进行姿态估计后，得到相对于目标三维人体模型的第一对应关系和第二对应关系，由此建模后得到第一纹理图像和第二纹理图像，将第二纹理图像迁移到第一纹理图像中，得到目标用户穿着所述目标服饰的图像的第三图像，提高了虚拟试衣的效果。

1.一种图像获取的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对目标用户图像和目标服饰图像分别进行姿态估计，得到第一对应关系和第二对应关系，包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述第二纹理图像迁移到所述第一纹理图像中，生成所述目标用户穿着所述目标服饰的目标图像，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据目标服饰图像确定偏移值，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述材质信息生成所述偏移值，包括：

6.根据权利要求1所述的方法，其特征在于，所述利用所述目标三维人体模型分别对所述第一对应关系和所述第二对应关系进行参数化三维人体建模，得到第一纹理图像和第二纹理图像之前，所述方法还包括：

7.一种图像获取的装置，其特征在于，所述装置包括：

8.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至6中任一项所述的图像获取的方法中的步骤。

9.一种可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6中任一项所述的图像获取的方法中的步骤。

10.一种计算机程序产品，其特征在于，所述计算机程序产品被存储在存储介质中，所述计算机程序产品被至少一个处理器执行以实现如权利要求1至6中任一项所述的图像获取的方法中的步骤。