一种模型训练方法、图像合成方法、装置及电子设备与流程
技术特征:
1.一种模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述图像合成网络包括第一编码器、拼接模块以及图像合成模块;
3.根据权利要求2所述的方法,其特征在于,所述第一编码器为预定的扩散模型中的压缩模块vae,所述图像合成模块为所述扩散模型中的主体结构unet。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述位置预测网络包括第二编码器、位置预测模块以及全连接层;
5.根据权利要求1所述的方法,其特征在于,所述基于每一组样本数据中的样本位置信息,以及每一组样本数据对应的图像合成结果和预测位置信息,确定所述图像合成模型的目标损失,包括:
6.根据权利要求5所述的方法,其特征在于,所述基于每一组样本数据对应的图像合成结果,确定第一类损失,包括:
7.根据权利要求5所述的方法,其特征在于,所述基于每一组样本数据中的样本位置信息和每一组样本数据对应的预测位置信息,确定第二类损失,包括:
8.根据权利要求1所述的方法,其特征在于,所述多组样本数据为预先构建的训练数据集中的数据;
9.根据权利要求8所述的方法,其特征在于,所述原始前景图像所对应的前景图像的确定方式包括:
10.根据权利要求8所述的方法,其特征在于,所述预定的位置确定策略包括:用于指示随机选取位置的第一策略、用于指示根据所述原始背景图像中的背景对象的位置框进行位置确定的第二策略,或,用于指示基于预定的位置预测模型进行位置预测的第三策略。
11.一种图像合成方法,其特征在于,所述方法包括:
12.一种模型训练装置,其特征在于,所述装置包括:
13.一种图像合成装置,其特征在于,所述装置包括:
14.一种电子设备,其特征在于,包括:
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-10任一项所述的方法,或者,权利要求11所述的方法。
技术总结
本申请实施例提供了一种模型训练方法、图像合成方法、装置及电子设备,涉及计算机技术领域,该模型训练方法包括:获取多组样本数据;将所述多组样本数据中的图像数据输入待训练的图像合成模型,得到每一组样本数据对应的图像合成结果和预测位置信息;基于每一组样本数据中的样本位置信息,以及每一组样本数据对应的图像合成结果和预测位置信息,确定所述图像合成模型的目标损失;在基于所述目标损失判断出所述图像合成模型未收敛的情况下,调整所述图像合成模型的模型参数。通过本方案可以训练得到无需借助人工以自动合成图像的图像合成模型,从而为自动图像合成以提高合成效率,提供实现基础。
技术研发人员:李豪
受保护的技术使用者:杭州海康威视数字技术股份有限公司
技术研发日:
技术公布日:2024/11/26
技术研发人员:李豪
技术所有人:杭州海康威视数字技术股份有限公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
