融合运动学和环境认知的轨迹预测方法及装置与流程

本公开涉及智能驾驶和人工智能，尤其涉及一种融合运动学和环境认知的轨迹预测方法及装置。

背景技术：

1、轨迹预测在许多应用中起着关键作用，如自动驾驶车辆的路径规划、无人机的飞行路线规划、智能交通管理等。以智能驾驶为例，随着智能驾驶的落地化需求越来越迫切以及自动驾驶的安全性需求，准确预测车辆的未来轨迹对于下游规划任务至关重要，其中车辆轨迹预测算法是推动自动驾驶技术落地的关键。

2、在实现本公开构思的过程中，发明人发现相关技术中至少存在如下技术问题：传统的轨迹预测算法主要依赖于物理模型和简单的机器学习方法，但这些方法在复杂环境下的预测精度有限。有的算法引入了深度神经网络，但是这类算法的预测过程是一个黑盒算法，内部决策过程不透明，导致在需要保证安全性和可解释性的自动驾驶领域中，构成了重大障碍。因此相关技术中缺乏一种能够既能够提升预测过程的可解释性、且能够保证所期望的预测性能的轨迹预测方案。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种融合运动学和环境认知的轨迹预测方法及装置。

2、第一方面，本公开的实施例提供一种融合运动学和环境认知的轨迹预测方法。上述方法包括：对车辆行驶场景下目标车辆的第一历史轨迹、其他车辆的第二历史轨迹和交通环境信息进行预处理；基于预先构建好的编码模块，对预处理后的第一历史轨迹、第二历史轨迹和交通环境信息进行特征提取和交互学习，得到目标车辆轨迹特征、与目标车辆相关的周围车辆高级轨迹特征和环境高级特征；将上述目标车辆轨迹特征、上述周围车辆高级轨迹特征和环境高级特征输入至预先构建好的预测解码模块进行解码预测处理，得到当前时刻对应的预测加速度；将上述预测加速度、上述目标车辆的当前位置和当前速度输入至运动学模拟模型进行迭代运动模拟，得到未来预设时间步长的轨迹预测结果；其中，在迭代运动模拟过程中，单一时间步长的预测速度和预测位置迭代输入至上述编码模块重新编码，得到目标车辆的最新轨迹特征；上述最新轨迹特征继续作为上述预测解码模块的输入并得到下一时刻的预测加速度；迭代多个轮次直至完成预设时间步长的模拟。

3、在一些实施例中，上述预测加速度由以下三种加速度进行求和或进行加权和计算得到：目标车辆自驱作用产生的第一预测加速度、周围车辆影响目标车辆产生的第二预测加速度和交通环境影响目标车辆产生的第三预测加速度。

4、在一些实施例中，上述预测解码模块包括：第一解码模块、第二解码模块和第三解码模块。将上述目标车辆轨迹特征、上述周围车辆高级轨迹特征和环境高级特征输入至预先构建好的预测解码模块进行解码预测处理，得到当前时刻对应的预测加速度，包括：将上述目标车辆轨迹特征和目标点特征输入至上述第一解码模块，输出得到车辆自驱作用产生的第一预测加速度；其中，上述目标点特征是根据上述目标车辆轨迹特征和上述环境高级特征进行预测处理得到的预测目标点位置对应的特征；将上述目标车辆轨迹特征和上述周围车辆高级轨迹特征输入至上述第二解码模块，输出得到周围车辆影响目标车辆产生的第二预测加速度；将上述目标车辆轨迹特征和上述环境高级特征输入至上述第三解码模块，输出得到交通环境影响目标车辆产生的第三预测加速度。

5、在一些实施例中，上述方法还包括：将上述目标车辆轨迹特征和上述环境高级特征输入至预先构建好的目标点编码模块进行目标点预测处理，得到的预测目标点位置对应的目标点特征。

6、在一些实施例中，上述编码模块包括：目标车辆轨迹编码模块、周围车辆轨迹编码模块、交通环境编码模块、第一交叉学习模块和第二交叉学习模块。其中，基于预先构建好的编码模块，对预处理后的第一历史轨迹、第二历史轨迹和交通环境信息进行特征提取和交互学习，得到目标车辆轨迹特征、与目标车辆相关的周围车辆高级轨迹特征和环境高级特征，包括：将预处理后的第一历史轨迹和迭代步长下的预测轨迹构成拼接向量，上述拼接向量输入至上述目标车辆轨迹编码模块进行特征提取处理后，输出得到目标车辆轨迹特征；其中，初始状态下上述预测轨迹为空向量；在迭代运动模拟过程中，上述迭代步长下的预测轨迹为各个迭代轮次对应输出的单一时间步长的预测位置和预测速度进行步长累积的结果；将预处理后的第二历史轨迹输入至上述周围车辆轨迹编码模块，对每个其他车辆的第二历史轨迹中各个轨迹点进行特征提取，并对各个轨迹点之间基于自注意力学习得到每个其他车辆的轨迹全局特征；再对其他车辆之间的轨迹全局特征进行交互学习，得到周围车辆轨迹特征；将上述目标车辆轨迹特征和上述周围车辆轨迹特征输入至上述第一交叉学习模块进行交叉注意力学习，得到与目标车辆相关的周围车辆高级轨迹特征；将预处理后的交通环境信息输入至上述交通环境编码模块进行局部环境的特征提取、对各个局部环境的内部交互学习、多个局部环境之间的全局交互学习，得到环境全局特征；将上述目标车辆轨迹特征和上述环境全局特征输入至上述第二交叉学习模块进行交叉注意力学习，得到与目标车辆相关的环境高级特征。

7、在一些实施例中，上述第一历史轨迹、上述第二历史轨迹和上述交通环境信息均位于全局坐标系。其中，上述对车辆行驶场景下目标车辆的第一历史轨迹、其他车辆的第二历史轨迹和交通环境信息进行预处理，包括：对上述第一历史轨迹、上述第二历史轨迹和上述交通环境信息进行坐标转换处理，转换至上述目标车辆的观测视角对应的参考坐标系下的表示结果。其中，将上述目标车辆的当前位置作为坐标原点，将上述目标车辆的当前时间戳相较于上一时间戳的位移方向作为第一方向的正向，将第一方向和与第一方向垂直的第二方向构建为上述参考坐标系。

8、在一些实施例中，上述方法还包括：在编码模块中进行多模态处理，将目标车辆轨迹特征、与目标车辆相关的周围车辆高级轨迹特征和环境高级特征映射得到多个模态结果；其中，在通过预先构建好的预测解码模块进行解码预测处理和进行迭代运动模拟后，对应得到针对各个模态结果的多种轨迹预测结果；针对每种轨迹预测结果，基于上述编码模块进行重新编码，得到各个模态对应的预测轨迹特征；将每个模态对应的预测轨迹特征、周围车辆高级轨迹特征和环境高级特征共同输入到预先构建的概率解码网络中，输出当前模态的轨迹打分；将所有模态的轨迹打分共同输入至软最大化函数，得到多种轨迹预测结果的概率值；将概率值最大的轨迹预测结果作为最终的预测轨迹进行输出。

9、在一些实施例中，未来预设时间步长的轨迹预测结果为秒级别的短时预测轨迹；最终输出的预测轨迹为秒级别的短时预测轨迹。在上述车辆行驶场景下，以上述目标车辆为中心，在上述目标车辆的周围预设尺寸范围内的车辆作为其他车辆，在上述目标车辆的周围预设尺寸范围的交通要素作为交通环境；上述交通环境包括以下组合的一种：车道，车道和交通指示灯，车道和路障；上述交通环境信息包括以下组合的一种：车道信息，车道信息和交通指示灯信息，车道信息和路障信息。

10、第二方面，本公开的实施例提供一种融合运动学和环境认知的轨迹预测模型的构建方法。上述方法包括：基于预处理模块，对车辆行驶场景下目标车辆的第一训练历史轨迹、其他车辆的第二训练历史轨迹和训练用交通环境信息进行预处理；基于待训练的编码模块，对预处理后的第一训练历史轨迹、第二训练历史轨迹和训练用交通环境信息进行特征提取和交互学习，得到目标车辆训练轨迹特征、与目标车辆相关的周围车辆训练高级轨迹特征和环境训练高级特征；将上述目标车辆训练轨迹特征、上述周围车辆训练高级轨迹特征和环境训练高级特征输入至待训练的预测解码模块进行解码预测处理，得到当前时刻对应的训练预测加速度；将上述训练预测加速度、上述目标车辆的当前位置和当前速度输入至运动学模拟模型进行迭代运动模拟，得到未来预设时间步长的训练轨迹预测结果；其中，在迭代运动模拟过程中，单一时间步长的预测速度和预测位置迭代输入至上述编码模块重新编码，得到目标车辆的最新训练轨迹特征；上述最新训练轨迹特征继续作为上述预测解码模块的输入并得到下一时刻的训练预测加速度；迭代多个轮次直至完成预设时间步长的模拟；将上述目标车辆在上述未来预设时间步长下对应的真实轨迹作为训练标签，对上述编码模块和上述预测解码模块进行同步训练；基于上述预处理模块、训练好的编码模块、训练好的预测解码模块和上述运动学模拟模型构建得到轨迹预测模型。

11、在一些实施例中，上述方法还包括：在编码模块中进行多模态处理，将目标车辆训练轨迹特征、与目标车辆相关的周围车辆训练高级轨迹特征和环境训练高级特征映射得到多个模态结果；其中，在通过预先构建好的预测解码模块进行解码预测处理和进行迭代运动模拟后，对应得到针对各个模态结果的多种训练轨迹预测结果；针对每种训练轨迹预测结果，基于上述编码模块进行重新编码，得到各个模态对应的训练预测轨迹特征；将每个模态对应的训练预测轨迹特征、周围车辆训练高级轨迹特征和环境训练高级特征共同输入到待训练的概率解码网络中，输出当前模态的训练轨迹打分；将所有模态的训练轨迹打分共同输入至软最大化函数，得到多种训练轨迹预测结果的概率值；将概率值最大的训练轨迹预测结果作为最终的训练预测轨迹进行输出。其中，通过上述训练预测轨迹与上述真实轨迹之间的差距确定损失函数，并对上述编码模块、上述预测解码模块和上述概率解码网络进行同步训练；上述轨迹预测模型还包括训练好的概率解码网络。

12、第三方面，本公开的实施例提供一种基于轨迹预测模型的车辆轨迹预测方法。上述方法包括：获取车辆行驶场景下目标车辆的第一历史轨迹、其他车辆的第二历史轨迹和交通环境信息；将上述第一历史轨迹、上述第二历史轨迹和交通环境信息作为轨迹预测模型的输入，输出得到上述目标车辆的预测轨迹；其中，上述轨迹预测模型是采用上述第二方面实施例提供的方法构建得到的模型。

13、第四方面，本公开的实施例提供一种融合运动学和环境认知的轨迹预测装置。上述装置包括：预处理模块、特征提取模块、加速度预测模块和运动学模拟模块。上述预处理模块用于对车辆行驶场景下目标车辆的第一历史轨迹、其他车辆的第二历史轨迹和交通环境信息进行预处理。上述特征提取模块用于基于预先构建好的编码模块，对预处理后的第一历史轨迹、第二历史轨迹和交通环境信息进行特征提取和交互学习，得到目标车辆轨迹特征、与目标车辆相关的周围车辆高级轨迹特征和环境高级特征。上述加速度预测模块用于将上述目标车辆轨迹特征、上述周围车辆高级轨迹特征和环境高级特征输入至预先构建好的预测解码模块进行解码预测处理，得到当前时刻对应的预测加速度。上述运动学模拟模块用于将上述预测加速度、上述目标车辆的当前位置和当前速度输入至运动学模拟模型进行迭代运动模拟，得到未来预设时间步长的轨迹预测结果；其中，在迭代运动模拟过程中，单一时间步长的预测速度和预测位置迭代输入至上述编码模块重新编码，得到目标车辆的最新轨迹特征；上述最新轨迹特征继续作为上述预测解码模块的输入并得到下一时刻的预测加速度；迭代多个轮次直至完成预设时间步长的模拟。

14、在一些实施例中，上述特征提取模块包含多模态处理模块；上述装置还包括：多模态预测模块。上述多模态处理模块，用于将目标车辆轨迹特征、与目标车辆相关的周围车辆高级轨迹特征和环境高级特征映射得到多个模态结果；其中，在通过预先构建好的预测解码模块进行解码预测处理和进行迭代运动模拟后，对应得到针对各个模态结果的多种轨迹预测结果；针对每种轨迹预测结果，基于上述编码模块进行重新编码，得到各个模态对应的预测轨迹特征。上述多模态预测模块，用于将每个模态对应的预测轨迹特征、周围车辆高级轨迹特征和环境高级特征共同输入到预先构建的概率解码网络中，输出当前模态的轨迹打分；将所有模态的轨迹打分共同输入至软最大化函数，得到多种轨迹预测结果的概率值；将概率值最大的轨迹预测结果作为最终的预测轨迹进行输出。

15、第五方面，本公开的实施例提供一种融合运动学和环境认知的轨迹预测模型的构建装置。上述装置包括：训练用预处理模块、训练用特征提取模块、训练用加速度预测模块、训练用运动学模拟模块和预测模型构建模块。上述训练用预处理模块用于对车辆行驶场景下目标车辆的第一训练历史轨迹、其他车辆的第二训练历史轨迹和训练用交通环境信息进行预处理。上述训练用特征提取模块用于基于待训练的编码模块，对预处理后的第一训练历史轨迹、第二训练历史轨迹和训练用交通环境信息进行特征提取和交互学习，得到目标车辆训练轨迹特征、与目标车辆相关的周围车辆训练高级轨迹特征和环境训练高级特征。上述训练用加速度预测模块用于将上述目标车辆训练轨迹特征、上述周围车辆训练高级轨迹特征和环境训练高级特征输入至待训练的预测解码模块进行解码预测处理，得到当前时刻对应的训练预测加速度。上述训练用运动学模拟模块用于将上述训练预测加速度、上述目标车辆的当前位置和当前速度输入至运动学模拟模型进行迭代运动模拟，得到未来预设时间步长的训练轨迹预测结果。其中，在迭代运动模拟过程中，单一时间步长的预测速度和预测位置迭代输入至上述编码模块重新编码，得到目标车辆的最新训练轨迹特征；上述最新训练轨迹特征继续作为上述预测解码模块的输入并得到下一时刻的训练预测加速度；迭代多个轮次直至完成预设时间步长的模拟。上述预测模型构建模块用于将上述目标车辆在上述未来预设时间步长下对应的真实轨迹作为训练标签，对上述编码模块和上述预测解码模块进行同步训练；基于上述预处理模块、训练好的编码模块、训练好的预测解码模块和上述运动学模拟模型构建得到轨迹预测模型。

16、在一些实施例中，上述训练用特征提取模块包含多模态处理模块；上述装置还包括：多模态预测模块。上述多模态处理模块，用于将目标车辆训练轨迹特征、与目标车辆相关的周围车辆训练高级轨迹特征和环境训练高级特征映射得到多个模态结果；其中，在通过预先构建好的预测解码模块进行解码预测处理和进行迭代运动模拟后，对应得到针对各个模态结果的多种训练轨迹预测结果。针对每种训练轨迹预测结果，基于上述编码模块进行重新编码，得到各个模态对应的训练预测轨迹特征。上述多模态预测模块，用于将每个模态对应的训练预测轨迹特征、周围车辆训练高级轨迹特征和环境训练高级特征共同输入到待训练的概率解码网络中，输出当前模态的训练轨迹打分；将所有模态的训练轨迹打分共同输入至软最大化函数，得到多种训练轨迹预测结果的概率值；将概率值最大的训练轨迹预测结果作为最终的训练预测轨迹进行输出。其中，通过上述训练预测轨迹与上述真实轨迹之间的差距确定损失函数，并对上述编码模块、上述预测解码模块和上述概率解码网络进行同步训练；上述轨迹预测模型还包括训练好的概率解码网络。

17、第六方面，本公开的实施例提供一种基于轨迹预测模型的车辆轨迹预测装置。上述装置包括：数据获取模块和预测处理模块。上述数据获取模块用于获取车辆行驶场景下目标车辆的第一历史轨迹、其他车辆的第二历史轨迹和交通环境信息。上述预测处理模块用于将上述第一历史轨迹、上述第二历史轨迹和交通环境信息作为轨迹预测模型的输入，输出得到上述目标车辆的预测轨迹；其中，上述轨迹预测模型是采用第二方面实施例提供的方法构建得到的模型、或采用第五方面实施例提供的装置构建得到的模型。

18、第七方面，本公开的实施例提供了一种电子设备。上述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述第一方面实施例提供的融合运动学和环境认知的轨迹预测方法、第二方面实施例提供的融合运动学和环境认知的轨迹预测模型的构建方法或者第三方面实施例提供的基于轨迹预测模型的车辆轨迹预测方法。

19、第八方面，本公开的实施例提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现上述第一方面实施例提供的融合运动学和环境认知的轨迹预测方法、第二方面实施例提供的融合运动学和环境认知的轨迹预测模型的构建方法或者第三方面实施例提供的基于轨迹预测模型的车辆轨迹预测方法。

20、本公开实施例提供的上述技术方案至少具有如下优点的部分或全部：

21、通过对预处理后的第一历史轨迹、第二历史轨迹和交通环境信息进行特征提取和交互学习，得到目标车辆轨迹特征、与目标车辆相关的周围车辆高级轨迹特征和环境高级特征；并据此预测加速度，能够从目标车辆自驱的角度、目标车辆受到周围车辆影响的角度和目标车辆受到交通环境信息影响的角度等对目标车辆的运动轨迹进行预测；具有较好的可解释性，同时还增强了模型对交通场景理解和处理能力，保证符合预期的轨迹预测性能。另外，在利用预测加速度输入至运动学模拟模型进行迭代运动模拟的过程中，基于自回归编码的方式，将单一时间步长的预测速度和预测位置迭代输入至上述编码模块重新编码，得到目标车辆的最新轨迹特征；上述最新轨迹特征继续作为上述预测解码模块的输入并得到下一时刻的预测加速度；迭代多个轮次直至完成预设时间步长的模拟；这样能够从运动学角度逐步模拟的角度来进行加速度和轨迹的预测和迭代，在保证可解释性的同时还有助于进一步提升轨迹预测的准确性。