一种基于数据增广辅助的三维高斯溅射方法

本发明涉及图像处理，具体涉及一种基于数据增广辅助的三维高斯溅射方法。

背景技术：

1、室内三维场景的实时高逼真度渲染是元宇宙涉及的关键技术之一，传统以点云或者三角面片表征的空间场景，模型中存在空洞、纹理混叠等错误，无法满足照片级真实感绘制的需求。文献（bernhard kerbl,georgios kopanas,thomas leimkuhler,and georgedrettakis.3d gaussian splatting for real-time radiance field rendering.acmtransactions on graphics,42(4), 2023），以下简称为三维高斯溅射3d gs，在siggraph2023图形学顶会上以最佳论文的身份横空出世，该方法不再依赖神经网络对场景进行隐式地表达，而是从运动恢复结构（sfm）生成的稀疏点云出发，以每个点为中心建立可学习的3d高斯显示场景表达，用splitting也即抛雪球的方法进行渲染，实现了高分辨率（1080p）的实时渲染，且峰值信噪比超越了nerf类方法中的佼佼者mip-nerf360。3d gs方法的不足在于：基于三维高斯表征的方法存在强视图依赖性，渲染的视图仅在真实图片监督的视角附近表现优异，在分布外的泛化能力较弱；针对自由场景，稀疏的输入数据导致多视图不一致，渲染的视图存在尖锐伪影，影响了沉浸式漫游体验。

技术实现思路

1、为了降低渲染图伪影，提高成像质量，本发明提出了一种基于数据增广辅助的三维高斯溅射方法，包括步骤：

2、s1：获取自由场景的彩色激光雷达点云、可见光影像以及对应的影像位姿；

3、s2：根据影像位姿将彩色激光雷达点云投影到二维像素平面获取各影像位姿下的点云投影图；

4、s3：基于相同影像位姿下的可见光影像和点云投影图之间的颜色损失，进行图像恢复模型参数优化的监督，并通过梯度反传更新模型参数；

5、s4：通过对过拟合区域进行位姿重采样，获取重采样点云投影图；

6、s5：通过更新后的图像恢复模型将重采样点云投影图恢复为可见光影像；

7、s6：基于恢复后的可见光影像和原可见光影像对三维高斯溅射模型进行训练。

8、进一步地，所述s1步骤，具体包括如下步骤：

9、s11：通过搭载激光雷达和组合式全景相机的三维全景激光扫描仪连续采集激光雷达点云数据、稀疏采集组合式影像数据；

10、s12：通过后台数据处理生成彩色激光雷达点云、可见光影像以及对应的影像位姿数据。

11、进一步地，所述s2步骤中，具体包括如下步骤：

12、s21：通过对彩色激光雷达点云进行下采样处理，获取数据简化后的彩色激光雷达点云数据；

13、s22：以彩色激光雷达点云对应的影像位姿为中心，进行三维点遮挡消除下的视场内所有三维点获取；

14、s23：根据相机内参和世界坐标系下的位姿，基于三维点获取该影像位姿对应的点云投影图。

15、进一步地，所述s23步骤通过如下公式表达：

16、

17、式中，r为影像采集过程中相机围绕中心旋转的过程，j为可见光影像的索引，为第j副可见光影像对应的位姿，t为从世界坐标系转换到相机坐标系的矩阵转置操作，为第i个三维点， 为第j副影像在世界坐标系下对应的位移，用于将三维点转换到图像空间，i为可见光影像对应的相机内参，z为像素深度值，x和y为图像坐标系下的像素坐标。

18、进一步地，所述s3步骤中，图像恢复模型采用nafnet，通过将点云投影图作为训练数据，将对应的可见光影像作为标签数据，进行点云图到可见光影像间变换的监督学习。

19、进一步地，所述s5步骤具体包括如下步骤：

20、s51：通过三维高斯表征的场景浏览器访问原可见光影像，并对于视觉效果不佳的视角进行对应位姿的保存；

21、s52：将所有保存的位姿设定统一的相机内参，然后生成对应的点云投影图；

22、s53：基于更新后的图像恢复模型将点云投影图恢复为可见光影像。

23、进一步地，所述s6步骤中，通过增广的影响数据训练三维高斯溅射模型，具体包括如下步骤：

24、s61：以彩色激光雷达点云为三维高斯溅射方法的初始化数据，获取位置分布信息和初始化高斯参数；

25、s62：基于位置分布信息和初始化高斯参数，通过将原可见光影像进行预设轮次的迭代，获取对场景的三维高斯表征；

26、s63：通过将恢复后的可见光影像作为补充进行预设轮次的迭代，获取一致性补足的三维高斯表征。

27、与现有技术相比，本发明至少含有以下有益效果：

28、（1）本发明所述的一种基于数据增广辅助的三维高斯溅射方法，通过在可见光影像稀疏或视觉效果不佳的区域采样并生成额外的数据，可以显著提高不同视角下视图之间的一致性，减少渲染过程中的尖锐伪影；

29、（2）恢复的图像作为补充数据添加到原始数据集后，有助于提高三维高斯溅射模型的质量，使得渲染出的场景更加接近真实场景，尤其是在之前数据稀疏的区域；

30、（3）通过先使用真实的可见光影像进行初步训练，然后再加入恢复的图像进行进一步训练，可以确保模型能够更快地收敛至高质量的三维表征；

31、（4）增强模型对于未见过视角的泛化能力，即使在没有直接训练过的视角也能保持良好的渲染效果。

1.一种基于数据增广辅助的三维高斯溅射方法，其特征在于，包括步骤：

2.如权利要求1所述的一种基于数据增广辅助的三维高斯溅射方法，其特征在于，所述s1步骤，具体包括如下步骤：

3.如权利要求1所述的一种基于数据增广辅助的三维高斯溅射方法，其特征在于，所述s2步骤中，具体包括如下步骤：

4.如权利要求3所述的一种基于数据增广辅助的三维高斯溅射方法，其特征在于，所述s23步骤通过如下公式表达：

5.如权利要求1所述的一种基于数据增广辅助的三维高斯溅射方法，其特征在于，所述s3步骤中，图像恢复模型采用nafnet，通过将点云投影图作为训练数据，将对应的可见光影像作为标签数据，进行点云图到可见光影像间变换的监督学习。

6.如权利要求1所述的一种基于数据增广辅助的三维高斯溅射方法，其特征在于，所述s5步骤具体包括如下步骤：

7.如权利要求1所述的一种基于数据增广辅助的三维高斯溅射方法，其特征在于，所述s6步骤中，通过增广的影响数据训练三维高斯溅射模型，具体包括如下步骤：