视频生成方法、设备及系统与流程

本技术涉及人工智能领域，尤其涉及一种视频生成方法、设备及系统。

背景技术：

1、目前，随着人工智能的发展，在多媒体领域，基于文本、图像、视频等生成视频也取得突破性进展。但是，生成的视频的中运动对象的运动效果与真实环境下对象的运动效果具有差异，例如，生成的视频中运动对象的运动不自然和不真实。因此，如何提升生成的视频中运动对象的运动真实性是一个亟待解决的问题。

技术实现思路

1、本技术提供了一种视频生成方法、设备及系统，由此提升生成的视频中运动对象的运动真实性。

2、第一方面，提供了一种视频生成方法，包括获取到包括文本、图像或视频中至少一种的素材，响应第一操作，显示视频，视频由素材中对象的动力学模型和对象中单元的动力学模型生成。动力学模型用于指示物体的仿真物理特性和物体在空间中的相对位置随着时间而变化的运动表示。

3、由于动力学模型模拟了在真实环境下物体运动的物理特性，基于对象的动力学模型和对象中单元的动力学模型生成的视频中对象的运行效果符合真实环境下对象的运动效果，对象中单元的运行效果符合真实环境下对象中单元的运动效果，则增强了生成的视频中对象的运动合理性和物理特性合理性，因此，有效地提升了生成的视频中运动对象的运动真实性。

4、在一种可能的实现方式中，第一对象匹配的动力学模型和/或第一单元匹配的动力学模型是用户选择的；显示视频之前，方法还包括：显示素材包含的多个对象匹配的动力学模型和/或多个对象中一个或多个单元匹配的动力学模型，多个对象匹配的动力学模型包括第一对象匹配的动力学模型，第一对象的一个或多个单元匹配的动力学模型中包括第一单元匹配的动力学模型。

5、在另一种可能的实现方式中，第一对象匹配的动力学模型的参数和/或第一单元匹配的动力学模型的参数是用户选择的；参数包括对象的属性；显示视频之前，方法还包括：显示匹配的动力学模型的参数，匹配的动力学模型的参数包括第一对象匹配的动力学模型的参数和/或第一单元匹配的动力学模型的参数。

6、在另一种可能的实现方式中，参数还包括环境信息或运动时长中至少一个。

7、通过显示动力学模型和参数，以便用户选择动力学模型和参数，依据用户选择的动力学模型和参数生成的视频中的运动对象的运动效果满足用户喜好，提升用户体验。

8、在另一种可能的实现方式中，第一对象和/或第一单元是用户选择的；显示视频之前，方法还包括：显示素材包含的多个对象以及多个对象中一个或多个单元，多个对象包括第一对象，第一对象的一个或多个单元中包括第一单元。

9、通过显示对象和对象包含的单元，使用户直观地看到素材提供的对象和单元，用户选择对象和/或单元，可以实现任意对象和/或单元的运动，提升视频的创新性，提升用户体验。

10、在另一种可能的实现方式中，方法还包括：根据素材、第一对象匹配的动力学模型以及第一对象包含的第一单元匹配的动力学模型生成视频。

11、在另一种可能的实现方式中，根据素材、第一对象匹配的动力学模型以及第一对象包含的第一单元匹配的动力学模型生成视频，包括：根据第一对象、第一对象匹配的动力学模型和其对应的参数生成第一对象的运动轨迹，以及，根据第一对象包含的第一单元、第一对象包含的第一单元匹配的动力学模型和其对应的参数生成第一单元的运动轨迹；根据素材、第一对象的运动轨迹和第一单元的运动轨迹生成视频。

12、通过解构对象获取对象包含的单元，并基于对象匹配的动力学模型生成的运动轨迹和单元匹配的动力学模型生成的运动轨迹生成视频，使视频中对象的运行效果符合真实环境下对象的运动效果，对象中单元的运行效果符合真实环境下对象中单元的运动效果，则增强了生成的视频中对象的运动合理性和物理特性合理性，因此，达到整体和局部共同合理精确运动的目标，有效地提升了生成的视频中运动对象的运动真实性。

13、在另一种可能的实现方式中，根据第一对象、第一对象匹配的动力学模型和其对应的参数生成第一对象的运动轨迹，以及，根据第一对象包含的第一单元、第一对象包含的第一单元匹配的动力学模型和其对应的参数生成第一单元的运动轨迹，包括：调用视频生成系统和轨迹生成系统之间关联的接口，根据第一对象、第一对象匹配的动力学模型和其对应的参数生成第一对象的运动轨迹，以及，根据第一对象包含的第一单元、第一对象包含的第一单元匹配的动力学模型和其对应的参数生成第一单元的运动轨迹。

14、通过设置视频生成系统和轨迹生成系统之间关联的接口，使得任何具备视频生成功能的应用可以通过调用接口获取轨迹生成系统生成的对象的运动轨迹和单元的运动轨迹，从而，有效地提升了生成的视频中运动对象的运动真实性，以及本技术提供的方案的通用性。

15、在另一种可能的实现方式中，根据素材、第一对象的运动轨迹和第一单元的运动轨迹生成视频，包括：根据素材、第一对象的运动轨迹、第一单元的运动轨迹和第一对象包含的至少两个对象的深度关系和/或视角生成视频。

16、依据对象将的深度关系或视角生成视频，使视频中对象的运行效果符合真实环境下对象的运动效果，提升生成的视频中运动对象的运动真实性。

17、在另一种可能的实现方式中，方法还包括：接收设置视频的视频参数的第二操作；根据素材、第一对象匹配的动力学模型以及第一对象包含的第一单元匹配的动力学模型生成视频，包括：根据视频参数、素材、第一对象匹配的动力学模型以及第一对象包含的第一单元匹配的动力学模型生成视频。

18、根据用户设置的视频参数生成符合用户要求的视频，提升视频的创新性，提升用户体验。

19、第二方面，提供了一种视频生成装置，视频生成装置包括用于执行第一方面或第一方面任一种可能设计中的方法的各个模块。例如，模型训练装置包括通信模块、处理模块和显示模块。

20、通信模块，用于获取到包括文本、图像或视频中至少一种的素材，显示模块，用于响应第一操作，显示视频，视频由素材中对象的动力学模型和对象中单元的动力学模型生成。动力学模型用于指示物体的仿真物理特性和物体在空间中的相对位置随着时间而变化的运动表示。

21、在一种可能的实现方式中，第一对象匹配的动力学模型和/或第一单元匹配的动力学模型是用户选择的；显示模块还用于：显示素材包含的多个对象匹配的动力学模型和/或多个对象中一个或多个单元匹配的动力学模型，多个对象匹配的动力学模型包括第一对象匹配的动力学模型，第一对象的一个或多个单元匹配的动力学模型中包括第一单元匹配的动力学模型。

22、在另一种可能的实现方式中，第一对象匹配的动力学模型的参数和/或第一单元匹配的动力学模型的参数是用户选择的；参数包括对象的属性；显示模块还用于：显示匹配的动力学模型的参数，匹配的动力学模型的参数包括第一对象匹配的动力学模型的参数和/或第一单元匹配的动力学模型的参数。

23、在另一种可能的实现方式中，参数还包括环境信息或运动时长中至少一个。

24、在另一种可能的实现方式中，第一对象和/或第一单元是用户选择的；显示模块还用于：显示素材包含的多个对象以及多个对象中一个或多个单元，多个对象包括第一对象，第一对象的一个或多个单元中包括第一单元。

25、在另一种可能的实现方式中，处理模块，用于：根据素材、第一对象匹配的动力学模型以及第一对象包含的第一单元匹配的动力学模型生成视频。

26、在另一种可能的实现方式中，处理模块，具体用于：根据第一对象、第一对象匹配的动力学模型和其对应的参数生成第一对象的运动轨迹，以及，根据第一对象包含的第一单元、第一对象包含的第一单元匹配的动力学模型和其对应的参数生成第一单元的运动轨迹；根据素材、第一对象的运动轨迹和第一单元的运动轨迹生成视频。

27、在另一种可能的实现方式中，处理模块，具体用于：调用视频生成系统和轨迹生成系统之间关联的接口，根据第一对象、第一对象匹配的动力学模型和其对应的参数生成第一对象的运动轨迹，以及，根据第一对象包含的第一单元、第一对象包含的第一单元匹配的动力学模型和其对应的参数生成第一单元的运动轨迹。

28、在另一种可能的实现方式中，处理模块，具体用于：根据素材、第一对象的运动轨迹、第一单元的运动轨迹和第一对象包含的至少两个对象的深度关系和/或视角生成视频。

29、在另一种可能的实现方式中，处理模块，还用于：接收设置视频的视频参数的第二操作；根据视频参数、素材、第一对象匹配的动力学模型以及第一对象包含的第一单元匹配的动力学模型生成视频。

30、第三方面，提供了一种电子设备，电子设备包括处理器、存储器和显示器；处理器用于执行存储器中存储的指令，以使得所述电子设备执行如第一方面或第一方面任一种可能实现方式中的方法的操作步骤。

31、第四方面，提供了一种数据处理系统，包括客户端和服务器；客户端和服务器用于执行如第一方面或第一方面任一种可能实现方式中的方法的操作步骤，使客户端显示根据素材生成的视频。

32、第五方面，提供了一种计算机可读存储介质，包括：计算机软件指令；当计算机软件指令在处理器中运行时，使得处理器执行如第一方面或第一方面任意一种可能的实现方式中所述方法的操作步骤。

33、第六方面，提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面或第一方面任意一种可能的实现方式中所述方法的操作步骤。

34、第二方面至第六方面中任一种设计方式所带来的技术效果可参见第一方面或第一方面中不同设计方式所带来的技术效果，此处不再赘述。

35、本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。