一种具身机器人视觉交互方法、系统、终端及介质与流程
技术特征:
1.一种具身机器人视觉交互方法,其特征在于,所述一种具身机器人视觉交互方法包括:
2.根据权利要求1所述的一种具身机器人视觉交互方法,其特征在于,所述获取机器人的视觉图像数据包括:
3.根据权利要求1所述的一种具身机器人视觉交互方法,其特征在于,在所述将所述视觉图像数据输入至预先训练好的图像处理模型中进行处理,得到所述得到所述视觉图像数据的特征点数据之前,所述一种具身机器人视觉交互方法还包括:
4.根据权利要求1所述的一种具身机器人视觉交互方法,其特征在于,所述将所述视觉图像数据输入至预先训练好的图像处理模型中进行处理,得到所述得到所述视觉图像数据的特征点数据包括:
5.根据权利要求1所述的一种具身机器人视觉交互方法,其特征在于,所述基于所述空间感知数据,进行三维重建和场景分析,识别所述机器人所处环境中的关键交互对象和障碍物,得到识别分析结果包括:
6.根据权利要求1所述的一种具身机器人视觉交互方法,其特征在于,所述根据所述识别分析结果,生成所述机器人的交互方案包括:
7.根据权利要求1所述的一种具身机器人视觉交互方法,其特征在于,所述一种具身机器人视觉交互方法还包括:
8.一种具身机器人视觉交互系统,其特征在于,所述一种具身机器人视觉交互系统包括:
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述一种具身机器人视觉交互方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种具身机器人视觉交互方法的步骤。
技术总结
本申请涉及一种具身机器人视觉交互方法、系统、终端及介质,包括获取机器人的视觉图像数据,视觉图像数据包括RGB图像、深度图像和红外图像;将视觉图像数据输入至预先训练好的图像处理模型中进行处理,得到得到视觉图像数据的特征点数据;使用多模态特征融合算法对视觉图像数据的特征点数据进行深度融合,生成机器人周围环境的空间感知数据;基于空间感知数据,进行三维重建和场景分析,得到识别分析结果;根据识别分析结果,生成机器人的交互方案,交互方案包括路径规划、与物体的交互动作和语音语调;根据机器人的交互方案,调整机器人的行为策略。本申请具有提高具身机器人视觉交互的准确性的效果。
技术研发人员:张永攀
受保护的技术使用者:上海归墟机器人科技有限公司
技术研发日:
技术公布日:2024/12/2
文档序号 :
【 40201028 】
技术研发人员:张永攀
技术所有人:上海归墟机器人科技有限公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
技术研发人员:张永攀
技术所有人:上海归墟机器人科技有限公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
