基于动态场景图的物体搜索方法、系统、介质及机器人

本发明涉及物体搜索，具体的说，是涉及一种基于动态场景图的物体搜索方法、系统、介质及机器人。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、在机器人进行物体搜索的进程中，随之构建的环境模型即为地图映射。现有的地图映射主要有：尺度地图、拓扑地图、混合地图等。但是，这些地图都缺少考虑时间维度，具有较差的时效性，难以表示动态变化的开放场景，而且缺乏语义信息，难以在机器人自主物体搜索中直接应用。

3、另外，机器人环境感知和探索使其能够适应复杂未知环境的前提。但是，当前环境感知方法往往侧重于对外界信息的被动加工和处理，机器人不具备对环境信息的主动感知和理解能力，无法在未知环境下完成物体搜索任务。

技术实现思路

1、本发明为了解决上述问题，本发明提供一种基于动态场景图的物体搜索方法、系统、介质及机器人，利用预训练的大语言模型，为机器人提供物体搜索所需要的背景知识和语义理解；利用实时构建的动态场景图作为机器人进行物体搜索的环境映射；动态场景图包含了机器人所探索环境的地点和物体信息，大语言模型具有整合利用这些信息进行任务规划的能力；将二者结合集成，使机器人能在未知环境下完成物体搜索任务。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明的第一个方面提供一种基于动态场景图的物体搜索方法，其包括：

4、获取目标搜索物体；

5、获取机器人在当前时刻的位姿信息和视角内信息；判断视角内信息是否包含目标搜索物体，若是，则控制机器人移动到目标搜索物体处；否则，将位姿信息和视角内信息，结合动态场景图和上一时刻的阶段性目标物体，整合得到提示，基于所述提示，采用大语言模型，得到当前时刻的阶段性目标物体；所述提示包括：上一时刻的阶段性目标物体、位姿信息的描述、视角内信息的描述和机器人截止到当前时刻感知到的历史信息的描述，且所述机器人截止到当前时刻感知到的历史信息从动态场景图中提取；

6、将当前时刻的位姿信息和视角内信息，加入动态场景图后，控制机器人移动到阶段性目标物体处，并返回继续获取位姿信息和视角内信息。

7、进一步地，所述视角内信息的获取方法为：控制机器人进行若干次旋转，将每次旋转获取的环境信息作为一个点云集合，将所有点云集合内的物体作为视角内信息。

8、进一步地，如果连续两次旋转得到的点云集合内的物体具有相同的语义类，则计算两者的距离，如果距离小于规定的值，则作为同一个物体。

9、进一步地，所述大语言模型采用chatgpt。

10、本发明的第二个方面提供一种基于动态场景图的物体搜索系统，其包括：

11、任务获取模块，其被配置为：获取目标搜索物体；

12、物体搜索模块，其被配置为：获取机器人在当前时刻的位姿信息和视角内信息；判断视角内信息是否包含目标搜索物体，若是，则控制机器人移动到目标搜索物体处；否则，将位姿信息和视角内信息，结合动态场景图和上一时刻的阶段性目标物体，整合得到提示，基于所述提示，采用大语言模型，得到当前时刻的阶段性目标物体；所述提示包括：上一时刻的阶段性目标物体、位姿信息的描述、视角内信息的描述和机器人截止到当前时刻感知到的历史信息的描述，且所述机器人截止到当前时刻感知到的历史信息从动态场景图中提取；

13、动态场景图更新模块，其被配置为：将当前时刻的位姿信息和视角内信息，加入动态场景图后，控制机器人移动到阶段性目标物体处，并返回继续获取位姿信息和视角内信息。

14、进一步地，所述视角内信息的获取方法为：控制机器人进行若干次旋转，将每次旋转获取的环境信息作为一个点云集合，将所有点云集合内的物体作为视角内信息。

15、进一步地，如果连续两次旋转得到的点云集合内的物体具有相同的语义类，则计算两者的距离，如果距离小于规定的值，则作为同一个物体。

16、进一步地，所述大语言模型采用chatgpt。

17、本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，该程序被处理器执行时实现如上述所述的一种基于动态场景图的物体搜索方法中的步骤。

18、本发明的第四个方面提供一种机器人，采用如上述所述的一种基于动态场景图的物体搜索方法中。

19、与现有技术相比，本发明的有益效果为：

20、本发明提供了一种基于动态场景图的物体搜索方法，其利用预训练的大语言模型，为机器人提供物体搜索所需要的背景知识和语义理解；利用实时构建的动态场景图作为机器人进行物体搜索的环境映射；动态场景图包含了机器人所探索环境的地点和物体信息，大语言模型具有整合利用这些信息进行任务规划的能力；将二者结合集成，使机器人可以高效、稳定地完成所布置的任务，对研究如何实现机器人在未知环境下完成物体搜索任务具有重要意义。

21、本实施例提供的一种基于动态场景图的物体搜索方法，能够帮助进行物体搜索的机器人，在未知环境中感知物体信息并整合后，借助大语言模型，构建有利于物体搜索的动态场景图。

22、本实施例提供的一种基于动态场景图的物体搜索方法，能够根据物体搜索要求，在开放环境中，利用已构建的场景图信息和大语言模型的预训练知识，为机器人规划出最佳的物体搜索路线。

1.一种基于动态场景图的物体搜索方法，其特征在于，包括：

2.如权利要求1所述的一种基于动态场景图的物体搜索方法，其特征在于，所述视角内信息的获取方法为：控制机器人进行若干次旋转，将每次旋转获取的环境信息作为一个点云集合，将所有点云集合内的物体作为视角内信息。

3.如权利要求2所述的一种基于动态场景图的物体搜索方法，其特征在于，如果连续两次旋转得到的点云集合内的物体具有相同的语义类，则计算两者的距离，如果距离小于规定的值，则作为同一个物体。

4.如权利要求1所述的一种基于动态场景图的物体搜索方法，其特征在于，所述大语言模型采用chatgpt。

5.一种基于动态场景图的物体搜索系统，其特征在于，包括：

6.如权利要求5所述的一种基于动态场景图的物体搜索系统，其特征在于，所述视角内信息的获取方法为：控制机器人进行若干次旋转，将每次旋转获取的环境信息作为一个点云集合，将所有点云集合内的物体作为视角内信息。

7.如权利要求6所述的一种基于动态场景图的物体搜索系统，其特征在于，如果连续两次旋转得到的点云集合内的物体具有相同的语义类，则计算两者的距离，如果距离小于规定的值，则作为同一个物体。

8.如权利要求5所述的一种基于动态场景图的物体搜索系统，其特征在于，所述大语言模型采用chatgpt。

9.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的一种基于动态场景图的物体搜索方法中的步骤。

10.一种机器人，其特征在于，采用如权利要求1-4中任一项所述的一种基于动态场景图的物体搜索方法。