模型训练方法、视频生成方法、电子设备与流程

1.一种模型训练方法，其特征在于，所述模型包括多个编码器、扩散模型和解码器，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述扩散模型包括前向扩散网络和后向扩散网络；

3.根据权利要求2所述的方法，其特征在于，所述预测的噪声基于所述后向扩散网络中的引导条件得到；

4.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述预测嵌入向量进行视频转换处理，得到对应的预测视频，包括：

5.根据权利要求1所述的方法，其特征在于，所述使用所述采样视频对多个编码器进行预训练，包括：

6.根据权利要求5所述的方法，其特征在于，所述模型中的编码器包括第一编码器、第二编码器和第三编码器；

7.根据权利要求6所述的方法，其特征在于，所述第一编码器的训练方法包括：

8.根据权利要求6所述的方法，其特征在于，所述第二编码器的训练方法包括：

9.根据权利要求6所述的方法，其特征在于，所述第三编码器的训练方法包括：

10.一种模型训练装置，其特征在于，所述模型包括多个编码器、扩散模型和解码器，所述装置包括：

11.一种视频生成方法，其特征在于，包括：

12.一种视频生成装置，其特征在于，包括：

13.一种电子设备，其特征在于，包括存储器和处理器；其中，

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述权利要求1-9或11任一项所述的方法。

15.一种计算机程序产品，其特征在于，所述计算机程序被处理器执行时实现如上述权利要求1-9或11任一项所述的方法。