一种用于点云目标检测的伪超体素点云预处理方法

本发明属于数据处理，主要涉及点云数据处理，具体是一种用于点云目标检测的伪超体素点云预处理方法，可用于增强点云目标检测的准确性，可用于自动驾驶、机器人导航等应用场景。

背景技术：

1、点云数据作为三维重建和环境感知的重要数据形式，广泛应用于自动驾驶、无人机测绘、虚拟现实等领域。然而，点云数据往往存在数据量大、噪声多、密度不均等特点，这给点云目标检测任务中后续的处理和分析部分带来了挑战。体素化处理是常用的一种点云数据预处理方法：通过将点云划分为等体积的体素进行后续处理，可以减少数据量并加速后续处理的进程。然而，体素化处理简单粗暴，不能有效去除噪声数据，在细节丰富的区域，体素化可能会导致细节模糊或丢失，进而影响后续的分析和决策。使用点云下采样方法进行点云数据预处理时，通常通过减少点云中的点数来降低数据量和计算复杂度，但也会因为点数减少导致可能丢失细节信息，影响后续处理的精度。离群点过滤也是一种常用的点云数据预处理方法：利用统计方法或基于邻域的特征分析，剔除点云数据中的离群点。虽然这种点云预处理方法可以有效去除噪声，但计算复杂度高，可能导致数据丢失，且在处理大规模点云数据时性能较差。

2、超像素是图像分割的一种形式，它将图像像素划分为若干个不规则的、具有一定语义信息的区域。这些区域内部像素在颜色、纹理、亮度等特征上比较一致，我们认为那些位于彼此附近并拥有某些共同特性的的像素点具有一定的相似性，根据这些相似特性将像素组合起来，形成超像素；而区域之间则存在显著差异。在图像处理任务中，这种超像素方法将独立的分散的小像素“聚合”成更大的基本单位，获得更具有代表性的图像信息，不仅能简化后续的图像处理任务，还能保留图像的边缘和其他重要特征。大大降低了后续图像处理任务的工作量和难度。常应用于图像简化、图像压缩、图像分割、特征提取等任务中。

3、超体素则类似于超像素，是一种在三维点云数据中使用的概念，它是体素概念的扩展，用于在三维空间中实现更细粒度的分割。体素是三维空间中体积最小的单位，类似于二维图像中的像素。超体素本质上是一种体素的聚类过程，将具有相似特征属性如颜色、纹理、形状、法线方向等的体素聚类成一个更大区域的单元，即超体素。超体素的执行有利于减少后续操作的计算量，可以作为三维体素空间后续许多任务的预处理阶段任务。超体素的概念主要用于点云数据，尤其是在三维重建、医学图像处理和机器人视觉等领域。

4、申请号为cn2024102888711的专利文献中公开了“一种基于体素和点集融合的点云分割方法、装置及设备”，其对原始点云数据进行预处理，得到超体素数据；由超体素数据进行聚类分割，得到聚类超体素数据，进一步得到超体素特征；将超体素特征与所述点云特征进行融合，得到融合特征，并根据融合特征对原始点云数据中的每个点云进行语义分类分割得到点云分割结果。该方法存在的不足是，由于点云数据通常包含大量的点，在预处理过程中直接对点云数据进行超体素处理，计算复杂度高，非常耗时；并且点云数据的分布可能不均匀，直接进行超体素处理可能会导致部分区域的超体素过大，缺乏足够的细节，影响处理结果的精度。

5、综上，现有的点云数据预处理技术和超体素分割技术主要存在以下不足之处：大部分点云数据预处理方法并没有对大规模点云数据进行噪声处理，并且由于点云通常是稀疏的，而简化或压缩点云数据时通常会采取减少点的数量的方法，可能会导致关键点丢失，从而容易造成局部细节和特征丢失的情况，影响后续处理和分析；超体素分割算法涉及复杂的数学计算和几何运算，如距离度量、特征提取和聚类等。这些计算在高维空间中变得更加复杂且耗时。因此直接对体素进行超体素分割非常耗时，无法应用于实时性要求极高的实时场景中。

技术实现思路

1、本发明的目的在于针对上述现有技术的不足，提出一种保留更多空间细节特征、缓解超体素耗时的用于点云目标检测的伪超体素点云预处理方法。

2、本发明是一种用于点云目标检测的伪超体素点云预处理方法，其特征在于，利用由超像素分割算法生成的类别分割掩码与伪图像特征图的对应关系，进行局部均值化生成局部均值伪图像，并对伪图像和局部均值伪图像进行学习并融合，调整伪图像特征图中特征的权重分布情况，包括有如下步骤：

3、(1)得到伪图像特征图：获取待预处理的原始点云，进行体素化处理，在x-y方向上将点云空间划分为规则柱状体素，利用简化的pointnet网络和最大池化和对每个柱状体素进行编码获得体素特征，将体素特征按其在三维空间中的位置排列，得到伪图像特征图fpi；

4、(2)获取类别分割掩码：针对伪图像特征图fpi使用伪超体素分割模块，用简单线性迭代聚类(slic)算法进行伪超体素分割，只对伪图像特征图fpi前三个通道进行伪超体素分割，并根据希望得到的超像素区域数量规定超像素标签的个数，生成类别分割掩码tmask，类别分割掩码tmask中每个元素的值表示对应像素点所属的超像素标签；

5、(3)构建保留空间细节特征的局部均值伪图像：针对伪图像特征图fpi和类别分割掩码tmask，使用局部均值化模块，针对伪图像特征图fpi，对属于同种类别的像素点上的特征值求均值，并作为局部均值伪图像flm对应位置的像素点上的特征值，即利用类别分割掩码tmask与伪图像特征图fpi的对应关系，构建保留空间细节特征的局部均值伪图像flm；

6、(4)生成伪超体素点云预处理后的伪图像特征图：使用因子提取聚合模块，对伪图像特征图fpi和局部均值伪图像flm进行学习并融合，调整伪图像特征图fpi中特征的权重分布情况，融合超体素空间语义信息，生成伪超体素点云预处理后的伪图像特征图f'pi，完成针对待预处理原始点云的点云目标检测的伪超体素点云预处理任务。

7、本发明解决了在点云数据预处理的过程中，大部分点云数据预处理方法并没有对点云数据进行噪声处理，并且简化或压缩点云数据时容易造成局部细节和特征丢失的情况，以及直接对体素进行超体素分割非常耗时的的技术问题。

8、与现有技术相比，本发明具有以下优点：

9、保留原始点云更多的空间细节特征，提高目标检测精度：本发明设计伪超体素分割模块，使用简单线性迭代聚类(slic)算法将具有相似特征的区域聚合在一起，保留原始点云的主要结构和边缘信息；设计因子提取聚合模块，聚合两种伪图像特征图，生成超体素因子矩阵，超体素因子矩阵表示输入的伪图像中，经伪超体素分割后，各体素权重分布，将输入的伪图像与超体素因子矩阵相乘，生成伪超体素点云预处理后的伪图像特征图。伪超体素点云预处理后的伪图像特征图融合超体素语义空间信息，保留原始点云的空间细节特征，帮助目标检测模型更准确地有效地识别目标，提升目标检测精度。

10、比超体素分割用时更少：本发明设计伪超体素分割模块，对由原始点云体素生成的伪图像特征图，使用简单线性迭代聚类(slic)算法进行伪超体素分割，实现了对体素的超体素处理效果，缓解了直接对体素进行超体素处理时非常耗时的情况。

11、弱化随机噪声，减少噪声影响：本发明设计伪超体素分割模块，使用简单线性迭代聚类(slic)算法，将具有相似特征的区域聚合在一起，使噪声引起的随机变化变得平滑，有效减少噪声影响；设计局部均值化模块，对具有相似特征的区域的特征值求均值，进一步平滑特征图，弱化随机噪声。

12、拓展应用范围：本发明直接应用于点云目标检测任意方法中的不同分辨率的特征图后，并且不需对算法架构进行根本性修改。