一种点云分割方法、系统、介质、设备及信息数据处理终端

本发明提供了一种点云分割方法、系统、介质、设备及信息数据处理终端，属于点云数据处理。

背景技术：

1、近年来，激光雷达、3d扫描仪和rgb-d相机等大量廉价新颖的3d扫描设备(比如英特尔realscene、苹果的深度相机和微软的kinect等)的快速发展，使得3d点云数据的获取更加方便。3d点云在展开三维物体方面具有强大的功能，它们最终可以保留物体的原始特征，如形状大小、空间位置、几何特征和表面属性。3d点云的高效处理对于推进许多领域至关重要，包括自动驾驶、飞机盲区装配等。而如何从大量的3d点云数据中获取有用的信息，解决场景理解中的问题，是目前计算机视觉研究的重要内容。基于3d点云数据的目标检测、分类、识别是当前解决场景理解的主要技术，而3d点云分割是这些技术的基础。

2、虽然卷积规则网格图像像素可以有效地学习到表达特征，但它并不直接适用于3d点云，因为3d点云是无序的，不符合规则网格。在此之后，研究人员广泛探索将无序点云转换为规则数据格式并进行传统的卷积处理。目前已经提出了不同类型的方法，基于多视图的方法将点云从不同角度投影到图像中，并使用传统的视觉卷积神经网络来学习投影图像的特征。基于体素的方法将点云转换为规则的3d体素，然后对体素进行3d卷积以学习其特征。作为直接处理无序点云的先驱，pointnet利用多层感知器和对称函数来提取点云的特征。pointnet的一个重要问题是使用多层感知器不能提取局部特征。后来，pointnet++通过对分组的邻居点进行卷积运算来学习局部特征，解决了pointnet的不足。在基于图形的方法中，首先在分组的相邻点上构建连通图。对局部连通图进行图卷积提取局部特征，最后通过图池对点云进行下采样。pointnet++和基于图形的方法通过模仿视觉cnn的结构，构建分层网络，逐层提取点云的局部特征。因此，这些方法继承了视觉卷积神经网络不能有效提取远距离全局特征的缺点。transformer架构最初是在自然语言处理中开发的。在transformer中，自关注操作首先将任意一对输入特征转换为查询、键和值空间。然后，根据变换后的两个特征在查询空间和关键空间中的相似度计算聚合特征值空间上的权重，上述操作在任意一对输入特征之间执行，而不考虑它们在欧氏空间中的位置距离，从而使transformer结构可以提取远距离的全局特征。此外，transformer体系结构以并行和顺序无关的方式处理输入数据，因此，它们适用于处理无序数据。在3d点云研究中，许多基于深度学习的方法都使用transformer作为特征提取器。例如，点云transformer采用基于偏移注意力的变压器架构来学习全局特征，点云transformer网络提出基于矢量注意力的操作，从下采样的点云中捕获全局特征。虽然transformer架构可以帮助点云在长距离上提取全局特征，却忽略了局部特征对于点云分割边界细节的重要性。

3、点云由大量离散点组成的三维数据集合。对于点云场景分割任务，点云数据集非常庞大，因此对于处理和分析而言，在编码器进行下采样是必要的，下采样可以减少数据量，降低计算复杂度，并且在一些情况下提高处理速度。目前已有的点云分割网络利用上述直接处理点云的方法作为编码器，在解码器中通过上采样恢复点云数量，解码器结构则是仅采用简单的上采样操作来恢复点云的空间信息。然后，通过跳跃连接操作融合相同级别的特征。这种简单的特征映射方法可能会导致信息丢失和空间模糊，特别是在点云复杂场景的高频细节和边界处。

4、通过上述分析，现有技术存在的问题及缺陷为：

5、(1)对于点云分割任务，在编码器阶段点云的局部和全局特性没有得到充分利用。同时提取和局部特征与全局特征的融合是点云数据处理的关键。虽然以往的研究(比如pointasnl，pnp-3d等)成功地将局部特征和全局特征结合起来，获得了更有表现力的特征，但简单地将局部特征和全局特征拼接在一起，未能充分利用局部信息和全局信息，导致模型泛化能力和鲁棒性下降。

6、(2)对于点云分割任务，在解码阶段不能很好地聚合多阶段信息。解码器有限的表达能力使其无法充分利用点云中的细粒度特征，从而限制了分割结果的准确性和细节保留。

7、解决以上问题及缺陷的难度为：如何在点云中有效提取和融合局部和全局特征以及如何设计解码器来处理复杂的点云场景。

8、解决以上问题及缺陷的意义为：能够提升点云分割的精度，使得点云分割能够应用于实际的大规模3d场景，加快自动驾驶、盲区装配和增强现实等领域的发展。

技术实现思路

1、本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种点云分割方法、系统、介质、设备及信息数据处理终端的改进。

2、为了解决上述技术问题，本发明采用的技术方案为：一种点云分割方法，包括以下步骤：

3、s101：构建双分支编码器和级联注意解码器，其中双分支编码器由图卷积和transformer组成，用于获得点云的多范式表示，并提取点云的局部和全局信息，级联注意解码器能够学习多尺度和多分辨率空间表示，且利用了点云局部和全局的多阶段特征表示；

4、s102：搭建基于多范式表示和级联关注的高效点云分割网络，使用带有权重的负对数似然损失函数，使用训练集对多范式表示和级联关注的高效点云分割网络进行有监督的训练，每轮训练根据损失值调整网络参数，得到训练好的网络模型；

5、s103：使用训练好的网络模型对测试集中的点云进行预测，得到点云中每个点的分割结果。

6、所述双分支编码器包括n个级联的双分支特征提取模块，每个双分支特征提取模块包括级联的高效边缘卷积特征提取层、点transformer特征提取层和多尺度交叉注意融合层。

7、所述双分支编码器的构建步骤如下：

8、1)构建高效边缘卷积特征提取层：

9、采用k近邻算法将点云数据构建成局部图结构，通过最远点采样方法寻找顶点，再根据计算的点对间的欧氏距离选择邻居节点，构成有向图结构；完成图结构构建后，利用边卷积学习点对间的边特征，提取更精确的局部特征信息fx；

10、堆叠多个高效边缘卷积特征提取层形成图卷积之路；

11、2)构建点transformer特征提取层：

12、将输入坐标通过多层感知机学习一个去维嵌入特征fe，然后将嵌入的特征fe馈送到四个堆叠的注意力模块中，以学习每个点的语义丰富和判别表示，然后通过线性层生成全局特征信息fy；

13、堆叠多个点transformer特征提取层形成transformer支路；

14、3)构建多尺度交叉注意融合层：

15、首先对局部特征信息fx和全局特征信息fy进行投影，得到xq、xk、xv和yq、yk、yv，然后通过交叉自注意运算使图卷积支路和transformer支路在学习过程中相互引导得到xo和yo，其中q、k、v、o分别代表查询、键、值和输出，将xo和yo相加实现不同支路信息的高效融合；

16、4)将依次并行的高效边缘卷积特征提取层、点transformer特征提取层和多尺度交叉注意融合层组合成双分支特征提取模块，依次叠加n个双分支特征提取模块，得到不同层次的局部特征图、全局特征图和局部-全局相融合的特征图。

17、采用边卷积函数学习点对间的边特征，边卷积函数的表达式如下：

18、eij＝hθ(pi，pj-pi)；

19、di＝maxpool{relu(eij)}；

20、其中，eij为节点间连接边的特征，di为得到的新特征，将以pi为中心节点的局部图结构作为输入，pj为邻居节点；(pj-pi)为邻居节点和中心节点的向量差，获得点对间的关联信息；hθ(·)为具有一组可学习参数θ的非线性函数，用于对输入的图结构进行特征提取，使用共享的多层感知机对θ进行学习；relu为非线性激活函数；

21、因为不受邻居节点次序的影响，使用最大池化函数聚合边特征向量中主要的特征，得到最终的局部特征信息fx。

22、所述级联注意解码器包括依次级联的n个上采样模块，每个上采样模块包括依次级联的特征插值层和特征注意融合层，构建步骤如下：

23、1)构造上采样模块，将得到的不同层次融合局部和全局的特征图fgn通过上采样插值到与fgn-1尺度一样的融合特征图fun-1∈r(n/4^n-1)×2^(n-1)d，其中r为实数集，n为初始点云数量，n为层次数，d为通道数，将fgn-1和fun-1进行特征注意融合，融合方式如下：

24、qatt(gi-1,ui-1)＝σ1(bn(cg(gi-1))+bn(cu(ui-1)))；

25、ag(gi-1,ui-1)＝cg(gi-1)*σ2(bn(c(qatt(gi-1,ui-1))))；

26、f′i-1＝mlp(concat(ui-1,ag(gi-1,ui-1)))；

27、其中，σ1(·)和σ2(·)分别对应relu和sigmoid激活函数，cg(·)，cu(·)和c(·)表示通道卷积操作1×1，bn(·)为批归一化操作，g和u分别是跳过连接特征和上采样操作，qaat(·)表示注意力权重计算，ag(·)表示融合了fgi-1和fui-1的特征，f′i-1表示级联了不同层次不同尺度的融合特征；

28、接着采用平行的通道和空间注意分别增强点云的空间特征和通道特征，然后，将这些特征通过卷积进行降维得到特征图fi-1，上述过程定义如下：

29、wc＝σ(mlp(maxpool(f'i-1))+mlp(avgpool(f'i-1)))；

30、

31、

32、其中，maxpool和avgpool分别表示max pooling最大池化和average pooling平均池化，σ表示sigmoid函数，⊙表示hadamard乘积运算，wc表示通道注意力权重，表示空间位置注意力权重；

33、2)依次叠加n个上采样模块，进行特征插值和融合，得到上采样的多层次特征信息，最终得到融合了多阶段特征的特征图。

34、步骤s102中的损失函数基于交叉熵损失，通过将预测值的对数概率与目标类别的对数概率相乘，并取其负数来计算损失，损失函数的计算公式如下：

35、

36、其中，total_loss是计算得到的总损失，n是样本的数量，wi是权重，用于调整每个样本的损失贡献，pi是预测值中第i个样本的概率向量，包含了关于各个类别的预测概率，targeti是目标标签中第i个样本的类别索引。

37、一种点云分割系统，包括：

38、特征提取构建模块，用于构建双分支编码器和级联注意解码器，所述双分支编码器包括n个级联的双分支特征提取模块，每个双分支特征提取模块包括级联的高效边缘卷积特征提取层、点transformer特征提取层和多尺度交叉注意融合层；所述级联注意解码器包括n个级联的含有特征注意的上采样模块；每个上采样模块包括依次级联的特征插值层和特征注意融合层；

39、网络模型获取模块，用于搭建基于多范式表示和级联关注的高效点云分割网络，使用带有权重的负对数似然损失函数，使用训练集对多范式表示和级联关注的高效点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型；

40、分割结果输出模块，用于使用训练好的网络模型对测试集中的点云进行预测，得到点云中每个点的分割结果。

41、一种计算机可读存储介质，上面存储有计算机程序，其中，所述计算机程序在由处理器载入并执行时能够用于实施所述的点云分割方法。

42、一种采集设备，所述采集设备包括：3d扫描仪、rgb-d相机和处理器，该处理器用于执行所述的点云分割方法。

43、一种信息数据处理终端，所述信息数据处理终端用于实现所述的点云分割方法。

44、本发明相对于现有技术具备的有益效果为：本发明提供了一种基于多范式表示和级联关注的高效点云分割网络，使用一个双分支编码器(由图卷积和转换器组成)来获得点云的多范式表示，并提取点云的局部和全局信息，分层使得网络能够处理大规模数量的点云数据，在双分支编码器中引入多尺度交叉注意融合模块，使图卷积支路和变压器支路在学习过程中相互引导，实现不同支路信息的高效融合；且本发明提出了一种新的注意力级联3d点云解码器，利用点云的局部和全局多阶段特征表示，同时学习多尺度和多分辨率空间表示，从而提高了点云分割的精度。