基于扩散模型的视频生成方法、装置以及设备与流程
技术特征:
1.基于扩散模型的视频生成方法,其特征在于,所述方法包括:
2.如权利要求1所述的基于扩散模型的视频生成方法,其特征在于,所述根据若干个预测噪声、若干个预测图片差异以及若干个预测图片组差异,对所述待训练扩散模型的神经网络参数进行调节,包括:
3.如权利要求1所述的基于扩散模型的视频生成方法,其特征在于,所述将初始数据空间中的图片组映射至隐空间,其中,图片组中的每张抽帧图片对应一个隐变量,包括:
4.如权利要求1所述的基于扩散模型的视频生成方法,其特征在于,待训练扩散模型的损失函数,包括:
5.如权利要求4所述的基于扩散模型的视频生成方法,其特征在于,关于第二预测差异,包括:
6.如权利要求4所述的基于扩散模型的视频生成方法,其特征在于,关于预测噪声差异,包括
7.如权利要求1所述的基于扩散模型的视频生成方法,其特征在于,图片组中的抽帧图片的顺序,包括:
8.如权利要求1所述的基于扩散模型的视频生成方法,其特征在于,所述方法还包括:
9.基于扩散模型的视频生成装置,其特征在于,所述装置包括:
10.一种电子设备,其特征在于,包括:
技术总结
本发明公开了基于扩散模型的视频生成方法、装置以及设备,包括:得到若干张抽帧图片;构建出若干个图片组;将初始数据空间中的图片组映射至隐空间;构建待训练扩散模型;为图片组中的每个隐变量添加噪声;将图片组输入待训练扩散模型中,得到每个图片组对应的若干个预测噪声和若干个预测图片差异,以及若干个图片组之间对应的预测图片组差异;根据若干个预测噪声、若干个预测图片差异以及若干个预测图片组差异,对待训练扩散模型的神经网络参数进行调节,并在当满足预设训练要求时,将待训练扩散模型作为目标扩散模型。本发明属于视频预测领域。本发明可以使基于扩散模型预测得到的视频保持时间一致性。
技术研发人员:曹刘洋,应鹏飞,谭铭玺
受保护的技术使用者:星凡星启(成都)科技有限公司
技术研发日:
技术公布日:2024/11/21
文档序号 :
【 40072950 】
技术研发人员:曹刘洋,应鹏飞,谭铭玺
技术所有人:星凡星启(成都)科技有限公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
技术研发人员:曹刘洋,应鹏飞,谭铭玺
技术所有人:星凡星启(成都)科技有限公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
