一种基于大语言模型的辅助导航方法及系统与流程

本公开属于深度学习，更具体地说，是涉及一种基于大语言模型的辅助导航方法及系统。

背景技术：

1、视障人士在日常生活中面临重大挑战，特别是在行走、阅读、看电视和独立完成日常任务等活动中。传统辅助工具往往缺乏实时情境理解和适应性。导盲犬虽然有用，但也存在训练时间、成本和维护等限制。因此迫切需要一个强大的智能系统，一种智能交互方法来帮助视障人士更好的生活。

技术实现思路

1、本公开的目的在于提供一种基于大语言模型的辅助导航方法及系统，以提高听障人士独立生活和更轻松生活的能力。

2、本公开实施例的第一方面，提供了一种基于大语言模型的辅助导航方法，应用于第一设备，包括：

3、根据目标用户周围的环境信息和目标用户视线区域内的图像信息确定第一文本信息；

4、将所述第一文本信息和所述目标用户视线区域内的图像信息发送至第二设备；所述第二设备为与所述第一设备建立过连接关系的设备；所述第一文本信息用于指示所述第二设备根据所述第一文本信息和所述图像信息生成第二文本信息，并将所述第二文本信息转换为第一音频信息；

5、对所述第二设备发送的第一音频信息进行响应。

6、本公开实施例的第二方面，提供了一种视听交互装置，应用于第一设备，包括：

7、第一确定模块，用于根据目标用户周围的环境信息和目标用户视线区域内的图像信息确定第一文本信息；

8、第一发送模块，用于将所述第一文本信息和所述目标用户视线区域内的图像信息发送至第二设备；所述第二设备为与所述第一设备建立过连接关系的设备；所述第一文本信息用于指示所述第二设备根据所述第一文本信息和所述图像信息生成第二文本信息，并将所述第二文本信息转换为第一音频信息；

9、第一响应模块，用于对所述第二设备发送的第一音频信息进行响应。

10、本公开实施例的第三方面，提供了一种基于大语言模型的辅助导航系统，包括摄像头、麦克风、扬声器、传感器、数据处理模块和用户界面；

11、所述摄像头、麦克风、扬声器、传感器和用户界面属于第一设备，所述数据处理模块、所述输出模块属于第二设备；所述数据处理模块包括大型语言模型、智能代理、检索增强生成和知识图谱。

12、本公开实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种基于大语言模型的辅助导航方法的步骤。

13、本公开实施例提供的一种基于大语言模型的辅助导航方法及系统的有益效果在于：

14、一方面，本公开可以提升视障用户的感知能力，通过利用目标用户周围的环境信息和视线区域内的图像信息，第一设备或者第二设备能够将这些非视觉信息转化为文本信息，从而极大地扩展了视障用户的感知范围。他们不仅能够了解当前环境的文字信息（如路标、店铺名称等），还能通过图像信息了解更多环境细节，如物体的位置、形状等，这极大地提升了他们的独立生活和出行的能力。

15、另一方面，本公开可以增强交流的便捷性，通过将第一文本信息和图像信息发送到已建立连接的第二设备（如智能手机、智能手表或专门的辅助设备），并指示该设备生成第二文本信息并转换为第一音频信息，视障用户可以轻松获取这些信息。这种方式比传统的触觉辅助设备（如盲文点显器）更为高效和便捷，可以即时转换并播放出周围环境的信息。

1.一种基于大语言模型的辅助导航方法，其特征在于，应用于第一设备，包括：

2.如权利要求1所述的一种基于大语言模型的辅助导航方法，其特征在于，还包括：

3.如权利要求1所述的一种基于大语言模型的辅助导航方法，其特征在于，将所述第一文本信息和所述目标用户视线区域内的图像信息发送至第二设备，包括：

4.如权利要求1所述的一种基于大语言模型的辅助导航方法，其特征在于，所述根据所述第一文本信息和所述图像信息生成第二文本信息，包括：

5.如权利要求4所述的一种基于大语言模型的辅助导航方法，其特征在于，所述将所述第一文本信息和所述图像信息输入至大型语言模型得到所述第二文本信息，包括：

6.如权利要求1所述的一种基于大语言模型的辅助导航方法，其特征在于，还包括：

7.如权利要求2所述的一种基于大语言模型的辅助导航方法，其特征在于，所述第一请求信息包括目标用户针对所述第一设备的第一触发指令和/或第三音频信息。

8.一种视听交互装置，其特征在于，应用于第一设备，包括：

9.一种基于大语言模型的辅助导航系统，其特征在于，包括摄像头、麦克风、扬声器、传感器、数据处理模块和用户界面；

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。