一种数字人模型的训练方法、装置以及设备与流程

1.一种数字人模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种数字人模型的训练方法，其特征在于，所述利用预设的牙齿关键帧模型确定所述人像视频文件的关键帧作为牙齿参考图像，包括：

3.根据权利要求1所述的一种数字人模型的训练方法，其特征在于，所述牙齿关键帧模型的训练过程包括：

4.根据权利要求1所述的一种数字人模型的训练方法，其特征在于，所述提取所述人像视频文件中的每一图像帧并进行处理，得到训练图像，包括：

5.根据权利要求1所述的一种数字人模型的训练方法，其特征在于，所述提取所述人像视频文件的音频并进行处理，得到音频数据，包括：

6.根据权利要求1所述的一种数字人模型的训练方法，其特征在于，所述调整后的所述牙齿参考图像为通过分割模型将所述牙齿参考图像中的唇部区域进行分割后得到的。

7.根据权利要求1所述的一种数字人模型的训练方法，其特征在于，所述数字人模型的训练过程包括利用唇音同步鉴别器损失、l1损失、图像质量鉴别损失以及vgg感受损失对模型进行优化。

8.一种数字人模型的训练装置，其特征在于，所述装置包括：

9.一种数字人模型的训练设备，其特征在于，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如权利要求1至7任意一项所述的一种数字人模型的训练方法的步骤。

10.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被所述处理器执行以实现如权利要求1至7任意一项所述的一种数字人模型的训练方法的步骤。