基于单视角非正射卫星遥感影像的建筑三维重建方法及装置与流程

本发明涉及建筑三维重建，尤其是涉及一种基于单视角非正射卫星遥感影像的建筑三维重建方法及装置。

背景技术：

1、随着城市化进程的不断推进，城市场景三维重建成为了地理信息系统、城市规划、虚拟现实等领域的关键技术。城市三维模型兼具影像产品表达信息直观、形象的特性以及地形图的三维可量测等特点，可以帮助研究人员更好地理解城市空间结构。建筑物作为城市场景中最重要的地面目标以及最具空间特性的目标之一，是城市场景三维重建的重点关注对象。

2、目前，建筑物的三维重建主要通过激光雷达、合成孔径雷达、光学遥感影像等技术手段。基于激光雷达的三维重建主要应用在车载、机载传感器中，更适用于小范围、精细化、高精度的三维重建。基于合成孔径雷达的三维重建方法可以较快实现地形的模拟，但对于建筑这种易发生叠掩、阴影等几何畸变的区域，则需要更高分辨率、更多时相或更多视角的影像数据进行模拟。基于光学遥感的重建技术目前多用于航空摄影测量中，按照事先设定的航线摄影，并通过特征匹配算法获取地表三维模型。上述主流的三维重建方法，大多对数据数量、成像角度、数据质量有较高的要求，机载或车载的搭载平台限制也使得这些方法难以实现大范围的重建，复杂的工艺流程需要大量人力的涉入，大大拉长了三维模型生成的时间周期。

3、卫星遥感影像具有数据覆盖范围大、历史影像储备大的特点，在遥感解译中是最重要的数据来源之一，已有许多传统方法、机器学习方法对卫星遥感影像中的各类地物开展自动化提取研究。卫星传感器在成像时与地面存在入射角，因此多数卫星遥感影像并非正射的。尤其对于高层建筑，建筑物屋顶和其真实的地基轮廓往往并不重合，且在同一张影像上，建筑物越高，屋顶至地基的偏移量越大。这一特性使得利用单视角非正射卫星遥感影像进行建筑物三维重建成为可能。

4、目前，针对卫星遥感影像的建筑物解译大多集中在二维轮廓的提取。少量研究采用深度学习方法对单视角遥感影像中的建筑直接进行高度回归，但由于这类方法存在对建筑物纹理、阴影等回归线索的隐式学习，通常需要大量的数据保证模型在不同地区的泛化能力。也有研究人员使用立体测绘卫星或多视角卫星遥感影像开展三维重建研究，也取得了不错的效果，但对影像数据及相应的成像参数仍有较高要求，这限制了这些方法的大范围应用。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于单视角非正射卫星遥感影像的建筑三维重建方法及装置，可以有效改善现有建筑三维重建方法存在的应用范围小、数据质量要求高、人力消耗大、模型生产周期长等问题。

2、第一方面，本发明实施例提供了一种基于单视角非正射卫星遥感影像的建筑三维重建方法，包括：

3、获取单视角的非正射卫星遥感影像及其对应的第二建筑物屋顶轮廓；

4、通过实例级多任务学习网络模型，生成非正射卫星遥感影像包含的建筑物对应的第一建筑物屋顶轮廓和屋顶至地基偏移量；

5、根据屋顶至地基偏移量，对建筑物进行高度反演，得到建筑物对应的高度信息；

6、对第二建筑物屋顶轮廓与第一建筑物屋顶轮廓进行匹配，基于匹配关系为第二建筑物屋顶轮廓分配屋顶至地基偏移量和高度信息，用以生成建筑物对应的建筑物地基轮廓和建筑物白模；其中，第二建筑物屋顶轮廓的精度高于第一建筑物屋顶轮廓的精度；

7、对第二建筑物屋顶轮廓和建筑物地基轮廓形成的侧立面进行可视化分析，得侧立面对应的可视度特征，用以提取建筑物对应的纹理贴图；

8、根据建筑物白模和纹理贴图，对建筑物进行三维重建。

9、在一种实施方式中，在通过实例级多任务学习网络模型，生成非正射卫星遥感影像包含的建筑物对应的第一建筑物屋顶轮廓和屋顶至地基偏移量之前，方法还包括：

10、获取已标注卫星遥感影像，已标注卫星遥感影像包含有成对的建筑物屋顶轮廓标注和建筑物地基轮廓标注，并确定建筑物屋顶轮廓标注与建筑物地基轮廓标注之间的屋顶至地基偏移量；

11、对已标注卫星遥感影像进行滑动窗口裁剪处理，得到多个已标注卫星遥感影像切片；

12、按照已标注卫星遥感影像切片包含的建筑物屋顶轮廓标注对应的屋顶至地基偏移量，将建筑物屋顶轮廓标注移动至建筑物地基轮廓标注；

13、在移动过程中，如果建筑地基顶轮廓标注超出已标注卫星遥感影像切片的范围，则确定建筑物屋顶轮廓标注对应的新的屋顶至地基偏移量，并按照新的屋顶至地基偏移量继续移动建筑物屋顶轮廓标注；

14、根据移动后的建筑物屋顶轮廓标注和建筑物地基轮廓标注生成全建筑包围框；

15、将已标注卫星遥感影像切片作为模型输入，将建筑物屋顶轮廓标注及其对应的屋顶至地基偏移量、全建筑包围框作为训练标签，对实例级多任务学习网络模型进行训练。

16、在一种实施方式中，确定建筑物屋顶轮廓标注对应的新的屋顶至地基偏移量，包括：

17、基于建筑物屋顶轮廓标注与建筑物地基轮廓标注之间的相对位置关系，和建筑物屋顶轮廓标注与已标注卫星遥感影像切片之间的相对位置关系，确定目标偏移量计算函数；

18、通过目标偏移量计算函数，基于已标注卫星遥感影像切片的尺寸、建筑物屋顶轮廓标注的顶点坐标、屋顶至地基偏移量，输出偏移量调整系数；

19、如果目标偏移量计算函数的数量为1个，则将偏移量调整系数与屋顶至地基偏移量的乘积作为新的屋顶至地基偏移量；如果目标偏移量计算函数的数量为多个，则将最小的偏移量调整系数与屋顶至地基偏移量的乘积作为新的屋顶至地基偏移量。

20、在一种实施方式中，通过实例级多任务学习网络模型，生成非正射卫星遥感影像包含的建筑物对应的第一建筑物屋顶轮廓和屋顶至地基偏移量，包括：

21、对非正射卫星遥感影像进行滑动窗口裁剪处理，得到多个非正射卫星遥感影像切片；

22、对非正射卫星遥感影像切片进行旋转增强，得到多个旋转角度下的非正射卫星遥感影像切片；

23、通过实例级多任务学习网络模型，生成每个旋转角度下的非正射卫星遥感影像切片包含的建筑物对应的第一建筑物屋顶轮廓和屋顶至地基偏移量；

24、对第一建筑物屋顶轮廓和屋顶至地基偏移量进行角度还原；

25、将还原后的第一建筑物屋顶轮廓的均值，作为原始角度的非正射卫星遥感影像切片包含的建筑物对应的第一建筑物屋顶轮廓；以及，将还原后的屋顶至地基偏移量最大值，作为原始角度的非正射卫星遥感影像切片包含的建筑物对应的屋顶至地基偏移量。

26、在一种实施方式中，对第二建筑物屋顶轮廓与第一建筑物屋顶轮廓进行匹配，包括：

27、对第二建筑物屋顶轮廓与第一建筑物屋顶轮廓进行外包围框粗匹配，以筛选出粗匹配第一建筑物屋顶轮廓；

28、对第二建筑物屋顶轮廓与粗匹配第一建筑物屋顶轮廓进行轮廓iof精匹配，以筛选出与第二建筑物屋顶轮廓匹配的目标第一建筑物屋顶轮廓，或者筛选出精匹配第一建筑物屋顶轮廓；

29、对第二建筑物屋顶轮廓与精匹配第一建筑物屋顶轮廓进行边缘重合率嵌套匹配，以利用精匹配第一建筑物屋顶轮廓替代第二建筑物屋顶轮廓。

30、在一种实施方式中，对第二建筑物屋顶轮廓与第一建筑物屋顶轮廓进行外包围框粗匹配，以筛选出粗匹配第一建筑物屋顶轮廓，包括：

31、如果第二建筑物屋顶轮廓的外包围框与第一建筑物屋顶轮廓的外包围框相交，则将第一建筑物屋顶轮廓，作为粗匹配第一建筑物屋顶轮廓。

32、在一种实施方式中，对第二建筑物屋顶轮廓与粗匹配第一建筑物屋顶轮廓进行轮廓iof精匹配，以筛选出与第二建筑物屋顶轮廓匹配的目标第一建筑物屋顶轮廓，或者筛选出精匹配第一建筑物屋顶轮廓，包括：

33、确定第二建筑物屋顶轮廓与粗匹配第一建筑物屋顶轮廓之间的iof值；

34、如果存在iof值大于第一iof阈值的粗匹配第一建筑物屋顶轮廓，则将最大的iof值对应的粗匹配第一建筑物屋顶轮廓，作为与第二建筑物屋顶轮廓匹配的目标第一建筑物屋顶轮廓；

35、如果不存在iof值大于第一iof阈值的粗匹配第一建筑物屋顶轮廓，则判断iof值大于第二iof阈值且小于第一iof阈值的粗匹配第一建筑物屋顶轮廓的数量是否为1；

36、如果数量为1，则将粗匹配第一建筑物屋顶轮廓作为与第二建筑物屋顶轮廓匹配的目标第一建筑物屋顶轮廓；

37、如果数量大于1，则对粗匹配第一建筑物屋顶轮廓进行内部iof过滤；

38、判断过滤后的粗匹配第一建筑物屋顶轮廓对应的屋顶至地基偏移量是否均不高于偏移量阈值；如果是，则将最大的屋顶至地基偏移量对应的粗匹配第一建筑物屋顶轮廓，作为与第二建筑物屋顶轮廓匹配的目标第一建筑物屋顶轮廓；如果否，则将过滤后的粗匹配第一建筑物屋顶轮廓，作为精匹配第一建筑物屋顶轮廓。

39、在一种实施方式中，对第二建筑物屋顶轮廓与精匹配第一建筑物屋顶轮廓进行边缘重合率嵌套匹配，以利用精匹配第一建筑物屋顶轮廓替代第二建筑物屋顶轮廓，包括：

40、确定第二建筑物屋顶轮廓与精匹配第一建筑物屋顶轮廓之间的边缘重叠率；

41、将最高的边缘重叠率对应的精匹配第一建筑物屋顶轮廓添加至第二建筑物屋顶轮廓中，并确定最高的边缘重叠率对应的精匹配第一建筑物屋顶轮廓与第二建筑物屋顶轮廓之间的差集；

42、重新确定差集与剩余的精匹配第一建筑物屋顶轮廓之间的边缘重叠率，直至所有精匹配第一建筑物屋顶轮廓循环完毕，以实现利用精匹配第一建筑物屋顶轮廓替代第二建筑物屋顶轮廓。

43、在一种实施方式中，对第二建筑物屋顶轮廓和建筑物地基轮廓形成的侧立面进行可视化分析，得侧立面对应的可视度特征，用以提取建筑物对应的纹理贴图，包括：

44、从第二建筑物屋顶轮廓中选取两个点，两个点之间的距离大于距离阈值，从建筑物地基轮廓中选取两个点，以形成侧立面；

45、根据第二建筑物屋顶轮廓对应的高度信息，自侧立面的地基边至屋顶边进行线性插值，得到侧立面对应的可视度特征；

46、基于可视度特征从侧立面中筛选出可视侧立面，以从非正射卫星遥感影像中提取可视侧立面对应的纹理贴图。

47、第二方面，本发明实施例还提供一种基于单视角非正射卫星遥感影像的建筑三维重建装置，包括：

48、获取模块，用于获取单视角的非正射卫星遥感影像及其对应的第二建筑物屋顶轮廓；

49、屋顶轮廓及偏移量确定模块，用于通过实例级多任务学习网络模型，生成非正射卫星遥感影像包含的建筑物对应的第一建筑物屋顶轮廓和屋顶至地基偏移量；

50、高度反演模块，用于根据屋顶至地基偏移量，对建筑物进行高度反演，得到建筑物对应的高度信息；

51、地基轮廓及白模生成模块，用于对第二建筑物屋顶轮廓与第一建筑物屋顶轮廓进行匹配，基于匹配关系为第二建筑物屋顶轮廓分配屋顶至地基偏移量和高度信息，用以生成建筑物对应的建筑物地基轮廓和建筑物白模；

52、贴图提取模块，用于对第二建筑物屋顶轮廓和建筑物地基轮廓形成的侧立面进行可视化分析，得侧立面对应的可视度特征，用以提取建筑物对应的纹理贴图；其中，第二建筑物屋顶轮廓的精度高于第一建筑物屋顶轮廓的精度；

53、三维重建模块，用于根据建筑物白模和纹理贴图，对建筑物进行三维重建。

54、本发明实施例提供的一种基于单视角非正射卫星遥感影像的建筑三维重建方法及装置，首先获取单视角的非正射卫星遥感影像及其对应的第二建筑物屋顶轮廓，并通过实例级多任务学习网络模型，生成非正射卫星遥感影像包含的建筑物对应的第一建筑物屋顶轮廓和屋顶至地基偏移量；然后根据屋顶至地基偏移量，对建筑物进行高度反演，得到建筑物对应的高度信息；对第二建筑物屋顶轮廓与第一建筑物屋顶轮廓进行匹配，基于匹配关系为第二建筑物屋顶轮廓分配屋顶至地基偏移量和高度信息，用以生成建筑物对应的建筑物地基轮廓和建筑物白模；最后对第二建筑物屋顶轮廓和建筑物地基轮廓形成的侧立面进行可视化分析，得侧立面对应的可视度特征，用以提取建筑物对应的纹理贴图，从而根据建筑物白模和纹理贴图，对建筑物进行三维重建。上述方法可处理单视角、非正射的卫星遥感影像，直接利用实例级多任务学习网络模型生成低精度的第一建筑物屋顶轮廓和屋顶至地基偏移量，通过将低精度的第一建筑物屋顶轮廓与高精度的第二建筑物屋顶轮廓进行匹配，完成建筑物地基轮廓的确认以及建筑物白模的生成，进一步对第二建筑物屋顶轮廓和建筑物地基轮廓形成的侧立面进行可视化分析，得到用于建筑物白模的纹理贴图，实现建筑物的三维重建，本发明实施例可以有效改善现有建筑三维重建方法存在的应用范围小、数据质量要求高、人力消耗大、模型生产周期长等问题。

55、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

56、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。