一种基于超像素约束的神经辐射场渲染方法

本发明属于计算机视觉和遥感，尤其涉及基于超像素约束的神经辐射场渲染方法。

背景技术：

1、神经辐射场(nerf)框架已经成熟，能够学习并呈现未观察视角下的逼真三维场景。因此，将nerf技术应用于遥感图像的三维生成，有助于获得更精细的三维结构。

2、将2d图像转换为高保真的3d场景是视觉成像技术未来的关键发展方向，尤其在摄影测量和遥感(prs)领域。高精度的现实世界三维重建不仅能够准确再现建筑物、道路和基础设施，还能通过逼真的3d地形模型更直观地呈现地理信息。这种技术在智慧城市、城市发展与管理、数字制图、导航等多个领域具有广泛应用。在传统的基于几何的3d重建任务中，传统的大规模三维重建算法面临两个主要挑战：首先，在建模过程中需要仔细调整参数和处理，增加了实施和调试的难度，从而限制了方法的可扩展性和通用性。其次，传统方法通常依赖于手工设计的特征来描述场景中的几何结构和纹理信息。

3、然而，图像噪声、弱纹理等问题使得这些方法难以提取有效的图像特征点，从而导致重建结果中出现空洞和松散的几何结构。改进和优化针对这些挑战的策略可能包括：集成更多的几何信息以提高结构捕捉能力、优化计算资源的使用以提高效率、以及扩展nerf框架以处理更大规模和更复杂的场景和几何结构。

技术实现思路

1、本发明通过提供基于超像素约束的神经辐射场渲染方法，实现了超像素纹理一致性约束，提高了nerf深度估计准确度。

2、本发明提供基于超像素约束的神经辐射场渲染方法，包括以下步骤：

3、步骤1、图像预处理，利用colmap软件从n张输入图像中估计出相机位姿；

4、步骤2、利用多分辨率分割算法对二维图像数据集进行超像素的分割与提取；

5、步骤3、分别计算每个超像素内所包含的原始像素的rgb颜色均值，并以该rgb颜色均值作为对应超像素的rgb颜色；

6、步骤4、将神经网络渲染得到的像素的rgb颜色值与所对应的超像素的rgb颜色值的l2范数作为损失函数，以约束神经网络的训练；

7、步骤5、通过反向传播算法优化神经网络，直至神经网络收敛，最终得到输入图像所覆盖场景的隐式三维表示；

8、步骤6、根据输入图像所覆盖场景的隐式三维表示和新的相机姿态参数，进行新视图合成。

9、进一步讲，本发明所述的基于超像素约束的神经辐射场渲染方法，所述步骤1中，使用colmap工具从数据集中提取特征点和特征描述子，并利用sift算法对这些特征点及其描述子与原始图像进行几何一致性验证。接着采用增量式结构从运动(sfm)方法进行稀疏重建，通过匹配视角坐标与实际三维建筑的映射关系，获取图像的三维坐标和相机位姿信息。

10、本发明所述的基于超像素约束的神经辐射场渲染方法，所述步骤1中，若输入图像为卫星图像，则使用有理多项式系数(rpc)函数表示的相机模型对卫星图像的位姿矫正。

11、其中，基于rpc函数表示的相机模型是一种用于描述数字影像中摄影测量几何关系的数学模型，其表达式为：

12、

13、其中x,y，z表示三维点的经度、纬度和高度，r，c为其在成像平面上的投影的行和列。

14、本发明所述的基于超像素约束的神经辐射场渲染方法，所述步骤2中，多分辨率分割通过最小化生成的分割片段的平均异质性来实现超像素提取，融合因子f表示两分割片段合并引起的异质性增加，其公式为：

15、f＝wcolor·hcolor+(1-wcolor)·hshape

16、其中，融合因子f由光谱异质性分量hcolor和空间异质性分量hshape组成，它们的相对重要性由颜色因子wcolor定义。

17、本发明所述的基于超像素约束的神经辐射场渲染方法，所述步骤3中，对每个超像素进行遍历，计算其内所有原始像素的rgb颜色均值。这一过程可以通过以下公式表示：

18、

19、其中，rgbsuperpixel是超像素的rgb颜色均值，n是超像素内的像素数，rgbi是第i个像素的rgb颜色值。

20、这个公式计算了超像素内所有像素的rgb颜色的平均值，作为该超像素的代表颜色。

21、本发明所述的基于超像素约束的神经辐射场渲染方法，所述步骤4中，在神经网络的学习过程中添加超像素纹理一致性约束，迫使超像素内部一组像素的预测灰度值趋于一致，通过对纹理的约束实现对场景几何的约束，损失函数的表达式为：

22、

23、其中，是超像素内每个像素的预测颜色，r为每个训练批次中的光线集，p为光线r对应的超像素，超像素的颜色真值是该超像素内所有像素颜色的均值。

24、本发明所述的基于超像素约束的神经辐射场渲染方法，所述步骤5中，反向传播是一种基于梯度下降的优化技术，通过计算损失函数关于网络参数的梯度，然后沿着梯度的反方向更新参数，以使损失函数值最小化。

25、本发明所述的基于超像素约束的神经辐射场渲染方法，所述步骤6中，nerf运用经典体渲染的原理来渲染穿过场景的每条光线的颜色，将输出颜色c和体积密度σ合成到图像中。给定相机光线r(t)＝o+td，对应像素的颜色c(r)可由下式计算。

26、

27、其中o为相机中心，tn和tf分别为近边界和远边界，t(t)为沿射线从tn到t的累计透光率，可由下式计算。

28、

29、在本发明中，首先，通过colmap软件对图像进行预处理，估计每张图像的相机姿态。其次，采用多分辨率分割算法将二维图像数据集分割为紧凑且语义一致的超像素。然后，计算每个超像素的rgb颜色均值作为其代表颜色。接着，定义损失函数，该函数基于神经网络渲染像素的rgb颜色值与超像素的rgb颜色均值之间的l2范数差异。随后，通过反向传播优化神经网络，直至其收敛，以获得输入图像覆盖场景的隐式三维表示。最后，根据隐式三维表示和新的相机姿态参数合成新视图。本发明能够通过超像素约束的神经辐射场渲染方法，提升三维重建性能。

1.基于超像素约束的神经辐射场渲染方法，其特征在于，包括以下步骤

2.根据权利要求1所述的基于超像素约束的神经辐射场渲染方法，其特征在于，所述步骤1中，若输入图像为卫星图像，则使用有理多项式系数(rpc)函数表示的相机模型对卫星图像的位姿矫正。

3.根据权利要求1所述的基于超像素约束的神经辐射场渲染方法，其特征在于，所述步骤2中，多分辨率分割通过最小化生成的分割片段的平均异质性来实现超像素提取，融合因子f表示两分割片段合并引起的异质性增加，其公式为：

4.根据权利要求1所述的基于超像素约束的神经辐射场渲染方法，其特征在于，所述步骤4中，在神经网络的学习过程中添加超像素纹理一致性约束，迫使超像素内部一组像素的预测灰度值趋于一致，通过对纹理的约束实现对场景几何的约束，损失函数的表达式为：