一种基于环境信息主动感知的智能体具身交互规划方法

本发明涉及协作智能体具身智能领域，尤其是涉及一种基于环境信息主动感知的智能体具身交互规划方法。

背景技术：

1、近年来，随着智能体行业应用深度和广度显著提升，其应用场景逐渐从工厂走进社区开始与人共存的场景下进行作业。这类具有未知、复杂、稠密、人居特性的作业场景存在着大量的交互作业任务。这将会对智能体作业过程中的交互动作的适应性提出更高的要求。以家居服务智能体为例，室内环境高度非结构化且动态，人性化环境，房间内充斥各种各样的可移动物体，例如家具、鞋子、儿童玩具等；甚至是生活在这些环境中并进行日常活动的人类(我们自身)都对智能体的自主运动造成重大挑战。智能体在应用过程中既要考虑任务的完成水平和运动稳定性更要考虑运动的安全性。智能体确保作业场景中动作的适应性和安全性是服务智能体能够得以应用的前提。当前，基于视觉被动单一模态的环境感知与表征方法由于忽视了与具身交互密切相关的隐式物理属性的感知往往难以满足智能体运动规划约束和具身交互可解释性的需要。导致智能体在这类场景中的作业过程出现不协调甚至是运动失效的情况。

2、当前，针对该类场景下的智能体动作规划主要的解决方法为：将物体的交互属性作为先验存储在神经网络的隐空间中，通过视觉观测的方法，用训练好的神经网络来推理物体的操作属性，并以语义的形式来表征以约束智能体的具身交互动作。

3、然而，这类方法的存在的主要问题在于缺乏对交互动作结果的可预测性，往往导致意外的运动失效情况。智能体难以在具身交互过程中理解物体的交互力-交互响应时序特征，进而无法预测智能体交互动作的预期结果，这增加来了智能体交互动作的不稳定风险，机器交互动作的安全性无法得到充分保证。

技术实现思路

1、本发明的目的就是为了提高智能体对配对的交互力-交互响应时序信号的理解，进而提高智能体的具身交互适应水平，提高机器动作安全性而提供的一种基于环境信息主动感知的智能体具身交互规划方法。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于环境信息主动感知的智能体具身交互规划方法，方法包括以下步骤：

4、s1、获取控制机器人运动的智能体周围的环境信息以及智能体与物体交互界面处的信息，所述智能体与物体交互界面处的信息为具身交互感知信号，所述环境信息为二维图像和深度，从获取的信息中抽取最近时刻的采样数据，并对采样数据进行对齐，得到对齐的环境信息以及智能体与物体交互界面处的信息；

5、s2、将对齐的环境信息进行目标识别和语义分割，得到语义特征信息，并对对齐的环境信息进行融合得到智能体作业环境，基于对齐的智能体与物体交互界面处的信息推断交互特性参数，将语义特征信息、智能体作业环境和交互特性参数进行多模态信息融合表征，得到环境多维信息；

6、s3、获取具身交互感知信号，基于所述具身交互感知信号进行机器人动作的可预期性判断，若判断结果为在预期内，则基于环境多维信息和规划的具体任务步骤，基于能量梯度的方法生成一系列的第一具身交互动作，机器人执行第一具身交互动作；

7、反之基于交互特性参数能量梯度的方法生成一系列的具有交互力特性的第二交互动作，机器人执行第二交互动作。

8、进一步地，所述智能体与物体交互界面处的信息包括交互过程的交互力刺激、物体的响应位移、温度和震动信号，所述具身交互感知信号基于具身交互感知器件获取。

9、进一步地，所述具身交互感知器件的空间位置为：

10、

11、其中，pi表示第i个感知器件相对于母关节的笛卡尔空间位置，pi表示第i个感知器件相对于机器人质心坐标系位置，表示感知器件所对应的母关节相对于机器人质心坐标系的齐次变换矩阵。

12、进一步地，所述基于对齐的智能体与物体交互界面处的信息推断交互特性参数的具体步骤为：

13、获取对齐的智能体与物体交互界面处的信息为：

14、

15、其中，δxm是交互位移，是交互界面处观测点位的移动速度，fm是交互界面处的相互作用力；

16、以上获取的信息用于推断物体的交互特性参数θ＝[k，d，f]t，推断过程中，首先物体交互特性被建模为：

17、y(t)＝h(t)θ+v(t)

18、是系统叠加输出向量，是系统叠加信息矩阵，是系统状态噪声；

19、随后，最小二乘参数估计方法对物体的交互特性参数进行估计：

20、

21、假设j1(θ)在时取得最小值，令j1(θ)对的偏导数为零，得到

22、

23、其中，y(j)表示表示交互界面处观测时序输入特征，v(t)表示噪声，ψt表示交互界面处观测时序输入信号，j1(θ)表示系统预测误差，k表示物体弹性操作系数，d表示物体阻尼操作系数，f表示物体操作损失常数。

24、进一步地，所述基于所述具身交互感知信号进行机器人动作的可预期性判断的具体步骤为：

25、规划器首先基于目标位置g生成下一时刻的目标追踪点g*：

26、

27、其中，ε(x)是规划器在笛卡尔空间下的有效求解空间，x是机器人当前位置；

28、判断机器人在接近目标点过程中，基于具身交互感知信号得到的机器人的运动速度和与外界的交互力是否超过最大安全速度vsafe和最大交互力fsafe，计算交互力的步骤为：计算机器人的在追踪目标点时加速度

29、

30、其中m和c分别表示惯性矩阵和科里奥利矩阵，q表示机器人关节空间速度，g表示重力向量；

31、于是机器人的在追踪目标点时速度为交互力

32、进行机器人动作的可预期性判断，得到机器人动作a的判断结果。

33、进一步地，所述机器人动作a的判断结果为：

34、

35、其中ad为危险动作，表示不在预期内，as为安全动作，表达在预期内。

36、进一步地，所述系统预测误差为：

37、

38、其中，y(j)表示表示交互界面处观测时序输入特征，v(t)表示噪声，ψt表示交互界面处观测时序输入信号，j1(θ)表示系统预测误差。

39、进一步地，所述基于能量梯度的方法生成一系列的第一具身交互动作，机器人执行第一具身交互动作具体为：

40、首先将机器人的工作空间拓扑为机器人本体域障碍物域和自由运动空间域其中表示机器人的位姿，r和h表示当前位姿下的机器人空间构型，x表示机器人当前所在的位置，表示机器人的工作空间，表示障碍物域，表示机器本体域，表示工作空间与障碍物域和机器人本体域的差集；

41、随后，不同的空间拓扑被分别赋予不同的能量状态，其中目标域被赋予为具有弹性引力虚拟能量势场自由运动空间域被定义为具有线性的阻尼场uf(x)，障碍物域被定义为具有能量操作代价的uo，d(x)＝w(θ，x)做功域，

42、通过对能量状态求导，得到机器人的驱动指令为：

43、f*＝-grad[u(x)]

44、所述机器人的驱动指令为第一具身交互动作。

45、进一步地，所述能量状态为机器人在空间位置为x时所处的能量状态，具体为：

46、

47、其中，uo(x)表示uo，d(x)的集合。

48、进一步地，，所述基于交互特性参数能量梯度的方法生成一系列的具有交互力特性的第二交互动作具体为：

49、计算相第二交互动作具体fact，第二交互动作具体的特性由正弦函数确定：

50、fact＝fsafesin(ωt)，t∈(0，100]

51、其中w＝π/100是交互变化频率，t是采样次数。

52、与现有技术相比，本发明具有以下有益效果：

53、通过对物体主动的施加一系列的交互力刺激，智能体得以通过多模态感知器件观测物体应激后的交互力-交互响应时序特征。基于这些观测特征，智能体得以推断物体的隐式交互特性进而约束智能体的交互动作，提高智能体对配对的交互力-交互响应时序信号的理解，进而提高智能体的具身交互适应水平，提高机器动作安全性。