在客户端合成数字人的方法、装置、设备及介质与流程

本发明涉及人工智能，尤其涉及一种在客户端合成数字人的方法、装置、设备及介质。

背景技术：

1、近年来，随着人工智能技术(ai)的迅猛进步，数字人合成技术在众多领域的应用日益广泛，涵盖了娱乐、教育、医疗以及客户服务等多个方面。这项技术不仅能够创造出高度逼真的虚拟人物形象，还能为用户提供更为鲜活、互动的使用体验。然而，传统的数字人合成方法往往高度依赖于服务器端的强大计算资源，这不仅提升了系统的复杂程度，还在一定程度上限制了用户的即时交互体验。

2、具体而言，服务器端的计算方法通常需要高带宽的网络连接和强大的计算能力作为支撑，这无疑增加了实现成本。更为重要的是，在网络状况不佳的环境下，这种依赖可能导致用户体验受到明显影响，从而降低了整体满意度。

3、因此，亟需提供一种更加高效、便捷的数字人合成技术解决方案，以进一步提升用户体验并推动相关领域的持续发展。

技术实现思路

1、本发明的目的在于提供一种在客户端合成数字人的方法、装置、介质及设备，用以改善传统方案存在过度依赖服务器端的计算资源的问题。

2、第一方面，本发明实施例提供一种在客户端合成数字人的方法，包括：从服务器端获取训练完成的第一数字人合成模型；将所述第一数字人合成模型转换成与目标格式对应的第二数字人合成模型，所述目标格式与客户端的操作系统相适配；将所述第二数字人合成模型集成至目标应用中，并调用所述客户端的硬件算力资源运行所述目标应用；通过采集装置获取到用户数据后，利用所述第二数字人合成模型对所述用户数据进行处理，并调用所述硬件算力资源在所述客户端对处理后的数据进行渲染，合成数字人。

3、在一种可能的实施方案中，利用所述第二数字人合成模型对所述用户数据进行处理，并调用所述硬件算力资源在所述客户端对处理后的数据进行渲染，合成数字人，包括：利用所述第二数字人合成模型和所述客户端的硬件算力资源进行语音识别，将用户数据中的语音部分实时转换为文本；将所述文本输入至所述第二数字人合成模型问答模块，得到文本答案；将所述文本答案内转换为音频数据；并调用所述硬件算力资源合成与用户数据中的图像部分对应的图像数据；在所述客户端对所述音频数据和图像数据进行渲染，合成数字人。

4、在一种可能的实施方案中，在所述客户端对所述音频数据和图像数据进行渲染，合成数字人，包括：结合自然语言处理和计算机视觉技术，对所述用户数据进行情感分析，以及将分析结果传递给渲染引擎；在所述客户端对所述音频数据和图像数据进行渲染，合成数字人，基于所述分析结果调整数字人的面部肌肉运动、眼神变化以及声音语调。

5、在一种可能的实施方案中，在所述客户端对所述音频数据和图像数据进行渲染时，还包括：利用增强现实技术，通过摄像头捕捉用户所在环境信息，并利用深度学习算法分析所述环境信息得到环境特征；基于所述环境特征动态调整所述数字人的渲染效果。

6、在一种可能的实施方案中，通过采集装置获取到用户数据，包括：通过集成各种传感器的动作捕捉设备和摄像头采集用户的身体姿势和面部表情，以及通过麦克风收集用户的语音，得到所述用户数据。

7、在一种可能的实施方案中，在合成数字人之后，还包括：接收用户作用于所述数字人配置界面的配置操作；响应于所述配置操作，调整所述数字人的参数，得到定制化的数字人。

8、在一种可能的实施方案中，所述目标格式与客户端的系统相适配，包括：当所述客户端的系统为ios系统时，所述目标格式为core ml格式；当所述客户端的系统为安卓系统时，所述目标格式为tensorflow lite格式。

9、第二方面，本发明实施例还提供一种在客户端合成数字人的装置，包括：

10、数据获取单元，用于从服务器端获取训练完成的第一数字人合成模型；

11、数据处理单元，用于将所述第一数字人合成模型转换成与目标格式对应的第二数字人合成模型，所述目标格式与客户端的操作系统相适配；将所述第二数字人合成模型集成至目标应用中，并调用所述客户端的硬件算力资源运行所述目标应用；

12、数字人合成单元，用于通过采集装置获取到用户数据后，利用所述第二数字人合成模型对所述用户数据进行处理，并调用所述硬件算力资源在所述客户端对处理后的数据进行渲染，合成数字人。

13、第三方面，本发明实施例中还提供一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，当所述程序被所述处理器执行时，使得所述电子设备实现如第一方面的任意一种可能的实施例中的方法。

14、第四方面，本发明实施例中还提供一种计算机可读存储介质，所述可读存储介质包括程序，当程序在电子设备上运行时，使得所述电子设备执行上述第一方面的任意一种可能的实施中的方法。

15、第五方面，本发明实施例还提供一种计算机程序产品，当所述程序产品在电子设备上运行时，使得所述电子设备执行上述第一方面的任意一种可能的实施方式的方法。

16、本发明提供一种在客户端合成数字人的方法、装置、介质及设备，技术方案的有益效果主要体现在以下几个方面：

17、1.显著提升合成效率：本发明通过利用客户端的硬件算力资源(如gpu、神经网络芯片等)，直接在本地进行数字人合成，避免了传统方法中数据传输和服务端处理的延迟，从而显著提升了数字人合成的实时性和效率。针对不同操作系统(如ios和安卓)的适配性设计，确保了无论在哪种平台上，都能充分发挥硬件性能，达到最佳合成效果。

18、2.优化资源使用：将计算任务从服务端转移到客户端，减轻了服务端的处理压力，降低了对服务器资源的依赖和占用，提高了系统的整体稳定性和可扩展性。客户端的硬件资源得到充分利用，减少了资源浪费，提升了整体资源使用效率。

19、3.高度可扩展性和灵活性：本发明提出的数字人合成方法，具有高度的模块化和可扩展性。根据不同的场景和需求，可以轻松添加新的模块和功能，以满足不断变化的用户需求。客户端的配置界面允许用户自定义数字人的参数，如面部特征、声音语调等，增加了数字人合成的个性化和灵活性。

20、4.增强的用户体验：通过结合自然语言处理和计算机视觉技术，对用户数据进行情感分析，并据此调整数字人的面部肌肉运动、眼神变化以及声音语调，使得数字人的表现更加自然、生动，增强了用户的沉浸感和交互体验。利用增强现实技术，根据用户所在环境动态调整数字人的渲染效果，使得数字人能够更好地融入现实场景，提升了用户的视觉体验。

21、5.降低开发和部署成本：客户端实现数字人合成的方法，减少了对服务器资源的依赖，降低了服务器资源的采购和维护成本。快速部署和扩展的能力，使得开发者能够迅速响应市场需求，降低开发和部署的周期和成本。

22、综上所述，本发明提出的在客户端合成数字人的方法，不仅提高了数字人合成的效率和资源使用的合理性，还增强了用户体验和系统的可扩展性，降低了开发和部署成本，具有显著的有益效果。

1.一种在客户端合成数字人的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，利用所述第二数字人合成模型对所述用户数据进行处理，并调用所述硬件算力资源在所述客户端对处理后的数据进行渲染，合成数字人，包括：

3.根据权利要求2所述的方法，其特征在于，在所述客户端对所述音频数据和图像数据进行渲染，合成数字人，包括：

4.根据权利要求2所述的方法，其特征在于，在所述客户端对所述音频数据和图像数据进行渲染时，还包括：

5.根据权利要求1所述的方法，其特征在于，通过采集装置获取到用户数据，包括：

6.根据权利要求1所述的方法，其特征在于，在合成数字人之后，还包括：

7.根据权利要求1所述的方法，其特征在于，所述目标格式与客户端的系统相适配，包括：当所述客户端的系统为ios系统时，所述目标格式为core ml格式；当所述客户端的系统为安卓系统时，所述目标格式为tensorflow lite格式。

8.一种在客户端合成数字人的装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：至少一个存储器，至少一个处理器，所述至少一个处理器用于执行所述至少一个存储器中存储的指令，以使得所述电子设备如权利要求1至7中任意一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质内存储有程序，其特征在于，所述程序被处理器执行时，实现如权利要求1至7中任一项所述的方法。