信息交互展示方法及系统与流程

本技术涉及互联网应用，特别是涉及一种信息交互展示方法及系统。

背景技术：

1、基于屏幕的交互是一种常见的数字交互技术，它利用高分辨率的大尺寸显示屏作为交互界面，为用户提供沉浸式的视觉体验和直观的操作方式。数字人技术是通过结合计算机图形学、人工智能、动作捕捉和语音合成等技术，创造出了可以以假乱真的数字化人物形象，它们不仅在外观上接近真人，还能模拟人类的自然动作和语音，广泛应用于电影、游戏、广告、社交媒体和教育等多个领域。

2、目前利用数字人技术仅仅实现了内容播报，体现方式死板、灵活性差，亟需提高用户体验。

技术实现思路

1、本技术提供了一种信息交互展示方法，用于实现数字人播报视频与目标对象的同步。

2、本技术提供了如下方案：

3、根据第一方面，提供了一种信息交互展示方法，应用于至少包括第一屏幕和第二屏幕的系统，所述第一屏幕和所述第二屏幕均朝向用户区域设置，且所述第一屏幕和所述第二屏幕之间的夹角在预设角度范围内；所述方法包括：获取针对目标对象的待讲解文本，所述待讲解文本包括至少一个锚点文本；利用所述待讲解文本生成数字人播报视频；将所述目标对象的图像提供给所述第一屏幕，以在所述第一屏幕上展示所述目标对象的图像，以及将所述数字人播报视频提供给所述第二屏幕，以在所述第二屏幕上播放所述数字人播报视频，其中，在所述数字人播报视频中数字人播报所述锚点文本时执行所述锚点文本对应的动作并且在所述第一屏幕上突出显示。

4、根据本技术实施例中一可实现的方式，所述方法还包括：依据用户输入的目标对象的信息，获取所述目标对象的图像；将所述目标对象的图像提供给所述第一屏幕，以在所述第一屏幕上展示所述目标对象的图像。

5、根据本技术实施例中一可实现的方式，所述获取针对目标对象的待讲解文本包括：获取用户针对所述目标对象输入的提问文本或输入的提问语音对应的提问文本；利用所述目标对象的知识库，针对所述提问文本生成答复文本，将所述答复文本作为所述待讲解文本。

6、根据本技术实施例中一可实现的方式，利用所述目标对象的知识库，针对所述提问文本生成答复文本包括：利用所述目标对象的知识库信息以及所述提问文本生成提示指令prompt；将所述prompt提供给大语言模型，获取所述大语言模型针对所述提问文本生成的答复文本。

7、根据本技术实施例中一可实现的方式，所述方法还包括：利用预先设置的关键词库，确定所述待讲解文本中与所述关键词库中关键词匹配的内容作为锚点文本，所述关键词库中的关键词对应有数字人动作和目标对象区域；利用所述待讲解文本生成数字人播报视频包括：利用所述待讲解文本以及所述锚点文本对应的数字人动作，生成所述数字人播报视频；在数字人播报所述锚点文本时，向所述第一屏幕发送突出显示指令，所述突出显示指令携带所述锚点文本对应的目标对象区域信息，以突出显示所述目标对象区域信息对应的所述目标对象的部分区域。

8、根据本技术实施例中一可实现的方式，所述锚点文本对应的动作包括：利用手势或工具指向所述第一屏幕上突出显示的所述部分区域的动作。

9、根据本技术实施例中一可实现的方式，所述目标对象的图像对应于所述第一屏幕预先被划分为n宫格，所述n为大于1的正整数；在所述第一屏幕上突出显示所述锚点文本对应的所述目标对象的部分区域包括：依据预先设置的所述锚点文本与所述n宫格中至少一个宫格之间的对应关系，在所述第一屏幕上突出显示所述锚点文本所对应宫格的图像区域。

10、根据本技术实施例中一可实现的方式，在所述第一屏幕上突出显示所述锚点文本对应的所述目标对象的部分区域包括：高亮显示所述锚点文本对应的所述目标对象的部分区域；或者，以预设元素标识出所述锚点文本对应的所述目标对象的部分区域；或者，以预设颜色显示所述锚点文本对应的所述目标对象的部分区域，所述预设颜色不同于除所述部分区域之外的其他区域所使用的颜色；或者，放大显示所述锚点文本对应的所述目标对象的部分区域；或者，在所述第一屏幕上居中显示所述锚点文本对应的所述目标对象的部分区域。

11、根据本技术实施例中一可实现的方式，所述目标对象包括：文物、古籍或壁画。

12、根据第二方面，提供了一种信息交互展示系统，所述系统包括：服务提供设备、第一屏幕和第二屏幕，所述第一屏幕和所述第二屏幕均朝向用户区域设置，且所述第一屏幕和所述第二屏幕之间的夹角在预设角度范围；所述服务提供设备，用于获取针对目标对象的待讲解文本，所述待讲解文本包括至少一个锚点文本；利用所述待讲解文本生成数字人播报视频并提供给所述第二屏幕；将所述目标对象的图像提供给所述第一屏幕；所述第一屏幕，用于展示所述目标对象的图像；所述第二屏幕，用于播放所述数字人播报视频；其中，在所述数字人播报视频中数字人播报所述锚点文本时执行所述锚点文本对应的动作并且在所述第一屏幕上突出显示所述锚点文本对应的所述目标对象的部分区域。

13、根据本技术实施例中一可实现的方式，所述系统还包括：第一用户输入设备，用于向用户提供用户界面，将用户通过所述用户界面输入的目标对象的信息提供给所述服务提供设备；所述服务提供设备，还用于依据用户输入的目标对象的信息，获取所述目标对象的图像。

14、根据本技术实施例中一可实现的方式，所述系统还包括：第二用户输入设备，用于获取用户针对所述目标对象输入的提问文本或输入的提问语音，将所述提问文本或所述提问语音提供给所述服务提供设备；所述服务提供设备，用于利用所述目标对象的知识库，针对所述提问文本生成答复文本，或者，调用语音识别系统将所述提问语音转化为提问文本，利用所述目标对象的知识库，针对提问文本生成答复文本；将生成的答复文本作为所述待讲解文本。

15、根据本技术实施例中一可实现的方式，所述服务提供设备，还用于利用预先设置的关键词库，确定所述待讲解文本中与所述关键词库中关键词匹配的内容作为锚点文本，所述关键词库中的关键词对应有数字人动作和目标对象区域；在数字人播报所述锚点文本时，向所述第一屏幕发送突出显示指令，所述突出显示指令携带所述锚点文本对应的目标对象区域信息，以突出显示所述目标对象区域信息对应的所述目标对象的部分区域。

16、根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述的方法的步骤。

17、根据第四方面，提供了一种电子设备，包括：

18、一个或多个处理器；以及

19、与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行上述第一方面中任一项所述的方法的步骤。

20、根据本技术提供的具体实施例，本技术公开了以下技术效果：

21、1)本技术设置展示目标对象的第一屏幕和播报数字人播报视频的第二屏幕，通过锚点文本使第二屏幕中数字人对应的动作与第一屏幕中显示的目标对象的部分区域相对应，在实现了目标对象与数字人播报视频的同步播放的同时，将目标对象突出显示的内容与数字人的动作相结合，进一步提升了信息的交互性，信息展现方式更加灵活，有趣，用户能够根据数字人的动作和突出显示的内容快速定位到相关信息，大大提升了用户体验。

22、2)本技术通过用户输入目标对象信息获取目标对象的图像，使用户能够根据自己的需求展示目标对象，提高了信息交互系统与用户之间的交互性。

23、3)本技术获取用户针对目标对象输入的提问文本或输入的提问语音对应的提问文本，利用提问文本和目标对象的知识库生成的答复文本作为讲解文本，给出了一种讲解文本的生成方式，使得数字人能够与用户以问答的方式来讲解目标对象，交互性更强，且讲解内容更加准确、有针对性。

24、4)本技术利用知识库信息和提问文本生成大语言模型的提示指令，由大语言模型根据提示指令生成答复文本，进一步提高了答复文本生成准确率。

25、5)本技术预先设置关键词库，关键词对应有数字人的动作和目标对象区域，将待讲解文本中与关键词库中关键词匹配的内容作为锚点文本，利用锚点文本对应的数字人动作，生成所述数字人播报视频，且在数字人播报锚点文本时，向第一屏幕发送突出显示指令，突出显示指令携带锚点文本对应的目标对象区域信息。实现了数字人的动作与突出显示目标对象的部分区域之间的配合，确保了交互的流畅性和一致性，使用户感受到无缝的交互体验。

26、6)本技术将第一屏幕划分为n宫格，依据预先设置的锚点文本与n宫格中至少一个宫格之间的对应关系，在第一屏幕上突出显示锚点文本所对应宫格的图像区域，给出了一种突出显示的方法，实现数字人与这些区域的精确同步响应，从而提供一种直观、灵活且高度个性化的多模态用户交互体验。

27、当然，实施本技术的任一产品并不一定需要同时达到以上所述的所有优点。