用于使用机器学习过程的图像重建的装置和方法与流程

本公开整体涉及图像重建，并且更具体地，涉及使用机器学习过程重建图像。相关技术图像捕获设备，诸如电话、平板计算机、个人计算机和智能设备，可以捕获诸如例如“自拍照”之类的图像。图像捕获设备可以包括图像重建技术以从捕获图像重建三维(3d)图像。例如，图像捕获设备可以支持3d形变模型(3dmm)以从红色、绿色、蓝色(rgb)图像重建3d图像。重建图像可以用于各种应用中，诸如游戏、计算机视觉、增强现实(ar)、虚拟现实(vr)、医学和机器人应用等。

背景技术：

技术实现思路

1、根据一个方面，一种方法包括获得图像。该方法还包括将第一受过训练的机器学习过程应用于图像以生成在多个维度中表征图像的系数数据。此外，该方法包括基于系数数据生成表征图像的第一网格的第一网格数据。该方法还包括将第二受过训练的机器学习过程应用于系数数据和图像以生成表征位移图像的位移数据。该方法还包括基于第一网格数据和位移数据生成表征图像的第二网格的第二网格数据。

2、根据另一方面，一种装置包括存储指令的非暂态机器可读存储介质，以及耦合到该非暂态机器可读存储介质的至少一个处理器。该至少一个处理器被配置为获得图像。该至少一个处理器还被配置为将第一受过训练的机器学习过程应用于图像以生成在多个维度中表征图像的系数数据。此外，该至少一个处理器被配置为基于系数数据生成表征图像的第一网格的第一网格数据。该至少一个处理器还被配置为将第二受过训练的机器学习过程应用于系数数据和图像以生成表征位移图像的位移数据。该至少一个处理器被进一步配置为基于第一网格数据和位移数据生成表征图像的第二网格的第二网格数据。

3、根据另一方面，一种非暂态机器可读存储介质存储指令，该指令在由至少一个处理器执行时使得该至少一个处理器执行操作，该操作包括获得图像。操作还包括将第一受过训练的机器学习过程应用于图像以生成在多个维度中表征图像的系数数据。此外，操作包括基于系数数据生成表征图像的第一网格的第一网格数据。操作还包括将第二受过训练的机器学习过程应用于系数数据和图像以生成表征位移图像的位移数据。操作还包括基于第一网格数据和位移数据生成表征图像的第二网格的第二网格数据。

4、根据另一方面，一种图像捕获设备包括：用于获得图像的构件，用于将第一受过训练的机器学习过程应用于图像以生成在多个维度中表征图像的系数数据的构件，以及用于基于系数数据生成表征图像的第一网格的第一网格数据的构件。该图像捕获设备还包括用于将第二受过训练的机器学习过程应用于系数数据和图像以生成表征位移图像的位移数据的构件，以及用于基于第一网格数据和位移数据表征图像的第二网格的第二网格数据的构件。

1.一种装置，所述装置包括：

2.根据权利要求1所述的装置，其中应用所述第二受过训练的机器学习过程包括建立卷积神经网络。

3.根据权利要求1所述的装置，其中所述系数数据包括多个纹理值，所述多个纹理值中的每个纹理值对应于一个纹理坐标。

4.根据权利要求3所述的装置，其中所述第二受过训练的机器学习过程被应用于所述多个纹理值。

5.根据权利要求1所述的装置，其中所述至少一个处理器被进一步配置为执行所述指令以：

6.根据权利要求1所述的装置，所述装置包括相机，所述相机被配置为捕获所述图像。

7.根据权利要求1所述的装置，所述装置包括显示器，所述显示器被配置为显示所述第二网格数据。

8.根据权利要求1所述的装置，其中所述至少一个处理器被进一步配置为执行所述指令以基于所述第二网格数据渲染3维模型。

9.根据权利要求8所述的装置，其中所述3维模型包括面部。

10.根据权利要求1所述的装置，其中所述至少一个处理器被进一步配置为执行所述指令以输出所述第二网格数据。

11.根据权利要求1所述的装置，其中所述至少一个处理器被进一步配置为执行所述指令以：

12.根据权利要求10所述的装置，其中所述至少一个处理器被进一步配置为执行所述指令以输出所述第二网格数据和所述第四网格数据。

13.根据权利要求1所述的装置，其中所述至少一个处理器被进一步配置为执行所述指令以：

14.根据权利要求13所述的装置，其中所述至少一个处理器被进一步配置为执行所述指令以：

15.一种方法，所述方法包括：

16.根据权利要求15所述的方法，其中应用所述第二受过训练的机器学习过程包括建立卷积神经网络。

17.根据权利要求15所述的方法，所述方法包括：

18.根据权利要求15所述的方法，所述方法包括：

19.一种存储指令的非暂态机器可读存储介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行操作，所述操作包括：

20.根据权利要求19所述的非暂态机器可读存储介质，其中所述指令在由所述至少一个处理器执行时使得所述至少一个处理器执行操作，所述操作包括：