用于自主驾驶中的运动预测的系统和方法与流程

1.一种点云运动传感器，所述点云运动传感器用于估计环境的至少一些点的运动信息，所述点云运动传感器包括：

2.一种控制器，所述控制器被配置成，基于由根据权利要求1所述的运动传感器确定的至少一些点的所述运动信息，控制在所述动态环境中移动的自主装置。

3.一种在动态环境中移动的自主装置，所述自主装置包括：

4.一种交通辅助系统，所述交通辅助系统操作地连接至根据权利要求1所述的运动传感器，所述交通辅助系统包括控制器，所述控制器被配置成，基于至少一些点的所述运动信息来执行控制动作，所述控制动作包括交通估计、异常检测、人行横道警告生成以及调度交通信号灯中的一者或组合。

5.根据权利要求1所述的运动传感器，其中，当前3d点云和先前3d点云中的相邻点被限制于以当前3d点云中的当前点的位置为中心的球体内。

6.根据权利要求5所述的运动传感器，其中，当前3d点云中的相邻点的特征和先前3d点云中的相邻点的特征是使用加权核函数来提取的，所述加权核函数提取关于与当前3d点云和先前3d点云的在对应球体中的相邻点不同的多个代理点的特征。

7.根据权利要求5所述的运动传感器，其中，当前3d点云中的相邻点的特征和先前3d点云中的相邻点的特征是通过利用多层感知器处理当前3d点云的提取特征和先前3d点云的提取特征的拼接来组合的。

8.根据权利要求5所述的运动传感器，其中，所述加权核函数的权重是所述神经网络的由当前点云的所有点共享的可训练参数。

9.根据权利要求1所述的运动传感器，其中，所述神经网络包括收缩分支和扩展分支，所述收缩分支顺序地对所述收缩分支的输入进行下采样，所述扩展分支顺序地对所述扩展分支的输入进行上采样，其中，所述收缩分支包括一对或多对所述编码器以及下采样层，并且其中，所述扩展分支包括一对或多对所述解码器以及上采样层。

10.根据权利要求8所述的运动传感器，其中，所述神经网络包括至少一个跳跃连接，所述至少一个跳跃连接使得聚合层能够融合来自所述编码器中的一个编码器和所述解码器中的一个解码器两者的特征。

11.根据权利要求8所述的运动传感器，其中，所述收缩分支具有多个编码器，所述多个编码器包括第一编码器和第二编码器，所述第二编码器被布置成处理所述第一编码器的下采样输出，所述下采样输出指示当前点云的时空特征的当前编码，其中，所述第二编码器处理当前编码以及在先前迭代期间确定的先前点云的对应编码。

12.根据权利要求8所述的运动传感器，其中，所述收缩分支具有多个编码器，所述多个编码器包括第一编码器和第二编码器，所述第二编码器被布置成处理所述第一编码器的下采样输出，其中，所述编码器被配置成，基于点云序列中的点云次序来区分当前点云与先前点云，其中，所述运动估计器被配置成：

13.根据权利要求1所述的运动传感器，其中，所述神经网络是多头网络，所述多头网络处理所述3d点云的序列以生成当前点云中的每一个单个3d点的预测的运动向量和估计的运动状态。

14.根据权利要求1所述的运动传感器，其中，所述神经网络是多头网络，所述多头网络处理所述3d点云的序列以生成当前点云中的每一个单个3d点的语义标签和估计的运动状态，其中，所述神经网络包括被训练以从各个3d点云提取语义特征的分割神经网络、被训练以估计所述语义标签的分割头、被训练以基于跨时间戳的所述语义特征来提取运动特征的点运动神经网络、以及被训练以估计所述运动状态的运动状态头。

15.一种用于估计环境的至少一些点的运动信息的计算机实现方法，所述计算机实现方法包括以下步骤：

16.根据权利要求15所述的计算机实现方法，其中，当前3d点云和先前3d点云中的相邻点被限制于以当前3d点云中的当前点的位置为中心的球体内。

17.根据权利要求16所述的计算机实现方法，其中，当前3d点云中的相邻点的特征和先前3d点云中的相邻点的特征是使用加权核函数来提取的，所述加权核函数提取关于与当前3d点云和先前3d点云的在对应球体中的相邻点不同的多个代理点的特征。

18.根据权利要求16所述的计算机实现方法，其中，当前3d点云中的相邻点的特征和先前3d点云中的相邻点的特征是通过利用多层感知器处理当前3d点云的提取特征和先前3d点云的提取特征的拼接来组合的。

19.根据权利要求16所述的计算机实现方法，其中，所述加权核函数的权重是所述神经网络的由当前点云的所有点共享的可训练参数。

20.根据权利要求15所述的计算机实现方法，其中，所述神经网络包括收缩分支和扩展分支，所述收缩分支顺序地对所述收缩分支的输入进行下采样，所述扩展分支顺序地对所述扩展分支的输入进行上采样，其中，所述收缩分支包括一对或多对所述编码器以及下采样层，并且其中，所述扩展分支包括一对或多对所述解码器以及上采样层。

21.根据权利要求20所述的计算机实现方法，其中，所述神经网络包括至少一个跳跃连接，所述至少一个跳跃连接使得聚合层能够融合来自所述编码器中的一个编码器和所述解码器中的一个解码器两者的特征。

22.根据权利要求20所述的计算机实现方法，其中，所述收缩分支具有多个编码器，所述多个编码器包括第一编码器和第二编码器，所述第二编码器被布置成处理所述第一编码器的下采样输出，所述下采样输出指示当前点云的时空特征的当前编码，其中，所述第二编码器处理当前编码以及在先前迭代期间确定的先前点云的对应编码。

23.根据权利要求20所述的计算机实现方法，其中，所述收缩分支具有多个编码器，所述多个编码器包括第一编码器和第二编码器，所述第二编码器被布置成处理所述第一编码器的下采样输出，其中，所述编码器被配置成，基于点云序列中的点云次序来区分当前点云与先前点云，其中，所述运动估计器被配置成：

24.根据权利要求15所述的计算机实现方法，其中，所述神经网络是多头网络，所述多头网络处理所述3d点云的序列以生成当前点云中的每一个单个3d点的预测的运动向量和估计的运动状态。

25.根据权利要求15所述的计算机实现方法，其中，所述神经网络是多头网络，所述多头网络处理所述3d点云的序列以生成当前点云中的每一个单个3d点的语义标签和估计的运动状态，其中，所述神经网络包括被训练以从各个3d点云提取语义特征的分割神经网络、被训练以估计所述语义标签的分割头、被训练以基于跨时间戳的所述语义特征来提取运动特征的点运动神经网络、以及被训练以估计所述运动状态的运动状态头。