三维重建方法、装置、设备和存储介质与流程

本公开涉及点云、微分网格计算、深度学习和图像处理，尤其涉及一种三维重建方法、装置、设备和存储介质。

背景技术：

1、三维(3-dimension，3d)重建是建立用计算机表示和处理的三维物体数学模型，3d重建是计算机环境下进行处理、操作和分析3d物体性质的基础，也是虚拟现实和原宇宙等技术的关键。

2、相关技术中，三维重建的方式主要是基于输入图像序列建立该输入图像场景的三维数字模型。例如：通过运动恢复结构(structure from motion，sfm)算法对输入图像序列进行处理，得到稀疏点云模型，然后利用多视图立体视觉(multi-view stereo，mvs)算法对稀疏点云模型进行处理，得到稠密点云模型，然后对稠密点云模型进行修补和表面重建，得到逼近于实物的高分辨率三维网格模型。

3、然而，在输入图像序列中图像数量较多时，生成稠密点云模型的时间长，速度慢。如果减少输入图像序列中的图像数量，三维模型的边缘等少部分区域中会存在很多空洞。

技术实现思路

1、为了解决上述全部或者至少一个技术问题，本公开实施例提供了一种三维重建方法、装置、设备和存储介质，实现快速点云模型和网格模型的重建，并减少甚至消除三维模型中空洞的情况。

2、第一方面，本公开实施例提供一种三维重建方法，包括：获取待重建实物的初始输入点云；按照设定分辨率将输入点云空间划分为网格；遍历网格，用连续立体27宫格微分局部空间创建训练数据集和预测数据集，并行或者分布式计算全局模型；基于创建的所述训练数据集训练预测网络模型，并利用所述预测网络模型基于x-y平面采样点的预测输入特征向量预测生成采样点的z轴坐标分量和颜色信息；基于x-y平面采样点、预测的z轴坐标分量和颜色信息生成预测修补点云，与所述输入点云合并，得到预测点云，以提高分辨率；将预测点云转换成网格模型，并进行平滑过滤和简化处理以优化分辨率和计算效率。第二方面，本公开实施例提供一种三维重建装置，包括：初始点云获取模块，用于获取待重建实物的初始输入点云；网格划分模块，用于按照设定分辨率将输入点云空间划分为网格；数据集创建模块，遍历网格，用连续立体27宫格微分局部空间创建训练数据集和预测数据集，并行或者分布式计算全局模型；采样点信息生成模块，基于创建的所述训练数据集训练预测网络模型，并利用所述预测网络模型基于x-y平面采样点的预测输入特征向量预测生成采样点的z轴坐标分量和颜色信息以及可选的法向量；预测点云确定模块，基于x-y平面采样点、预测的z轴坐标分量和颜色信息生成预测修补点云，与已有输入点云合并，得到预测点云，以提高分辨率；点云生成网格模型模块，用27宫格微分以及并行或者分布式计算，将三维点云模型转换成三维网格模型，然后进行空隙修补、平滑过滤和简化处理以优化分辨率和计算效率。

3、第三方面，本公开实施例提供一种电子设备，电子设备包括：

4、一台或多台处理机；

5、存储装置，用于存储一个或多个程序；

6、当一个或多个程序被一台或多台处理机执行，使得一台或多台处理机实现如上述第一方面中所提供的三维重建方法。

7、第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面中所提供的三维重建方法。

8、第五方面，本公开实施例提供一种程序产品，程序产品包括计算机程序，该计算机程序被处理器执行时实现如上述第一方面中所提供的三维重建方法。

9、本公开实施例提供了一种三维重建方法、装置和计算设施，该方法包括：获取待重建实物的初始输入点云；按照设定分辨率将输入点云空间划分为网格；遍历网格，用连续立体27宫格微分局部空间创建训练数据集和预测数据集，并行或者分布式计算全局模型；基于创建的所述训练数据集训练预测网络模型，并利用所述预测网络模型基于x-y平面采样点的预测输入特征向量预测生成采样点的z轴坐标分量和颜色信息；基于x-y平面采样点、预测的z轴坐标分量和颜色信息生成预测修补点云，与所述输入点云合并，得到预测点云，以提高分辨率；将预测点云转换成网格模型，并进行空隙修补、平滑过滤和简化处理以优化分辨率和计算效率。使用并行或者分布式集群计算，缩短了计算时间，能实现点云和网格模型的快速重建。

1.一种三维重建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述按照设定分辨率将输入点云空间划分为网格，包括：

3.根据权利要求1所述的方法，其特征在于，所述遍历网格，用连续立体27宫格微分局部空间，创建训练数据集和预测数据集，并行或者分布式计算全局模型，包括：

4.根据权利要求1所述的方法，其特征在于，基于所述采样点的预测输入特征向量预测生成所述采样点的z轴坐标分量和颜色信息、或者生成所述采样点的z轴坐标分量、颜色信息和法向量，包括：

5.根据权利要求1所述的方法，其特征在于，将预测点云转换成网格模型，并进行平滑过滤和简化处理以优化分辨率和计算效率，包括：

6.根据权利要求5所述的方法，其特征在于，利用所述预测点云生成预测点云的网格模型，包括：

7.根据权利要求5所述的方法，其特征在于，对所述预测点云的网格模型进行修补空隙、合并、平滑、过滤、简化等处理，包括：

8.一种三维重建装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理机执行时实现如权利要求1-7中任一项所述的三维重建方法。