一种非视域图像重建方法、装置、设备及介质

本发明涉及非视域成像，特别涉及一种非视域图像重建方法、装置、设备及介质。

背景技术：

1、在过去的几年里，非视域成像技术（non-line-of-sight imaging，nlos）在多个领域都取得了显著的发展，为解决各种复杂环境下的感知问题提供了重要的技术支持。目前，非视域成像方法主要包括主动式和被动式两种成像方式，在不同程度上都取得了令人瞩目的成果。其中主动式的非视域成像主要是飞行时间法，即使用单光子或激光雷达对非视域场景进行成像。激光雷达成像技术利用激光器发射激光束并接收目标反射回来的光信号，通过分析光信号的时间延迟和强度来获取目标的位置和形状信息。其拥有高精度和高分辨率的特点，但是高昂的成本和复杂的技术条件很难在复杂环境和工程下应用。

2、被动式的成像方式因其设备廉价、光路简单易操作的特点在一些应用场景下更为适用。被动式的成像方式主要是基于阴影成像和基于深度学习的成像技术，但是目前，数据的获取和标注成本较高，光照条件的变化以及背景噪声的干扰等因素会影响成像的质量和准确性。

3、因此，如何提供一种解决现有技术中被动式成像方式存在数据的获取和标注成本较高，光照条件的变化、背景噪声的干扰等因素会影响成像的质量和准确性的问题的方案是本领域技术人员目前需要解决的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种非视域图像重建方法、装置、设备及介质，能够解决当前基于深度学习的被动式非视域成像方法需要大量先验数据和标注成本的问题，并提高在简单目标的还原任务的准确性。其具体方案如下：

2、第一方面，本技术公开了一种非视域图像重建方法，包括：

3、获取待重建图像在非视域场景下的光斑图像；

4、获取预先基于高维流形与投影选择方式构建的图像重建模型；所述图像重建模型包括主干网络、高维流形建立模块和投影选择模块；

5、将所述光斑图像输入至所述图像重建模型，并利用所述主干网络中的编码器对所述光斑图像进行特征提取和分布估计，以得到相应的底层特征和分布估计信息；

6、利用所述高维流形建立模块对所述底层特征和所述分布估计信息进行信息交互融合，以建立高维流形信息空间；

7、利用所述投影选择模块将所述高维流形信息空间中的高维流形向低维分布进行投影生成，并根据预设判断条件从生成的投影中确定与所述光斑图像最接近的目标投影，以得到与所述目标投影对应的目标流形分布；

8、利用所述主干网络中的解码器对所述目标流形分布进行相应的取样解码，以得到与所述光斑图像对应的重建图像结果。

9、可选的，所述获取待重建图像在非视域场景下的光斑图像，包括：

10、通过遮挡墙面后放置的成像显示屏幕按照预设图像放映频率定时放映所述待重建图像，以在成像墙面上显示待重建信息；

11、利用采集相机按照预设采集频率对所述成像墙面上的所述待重建信息进行成像采集，以得到与所述待重建图像一致的在非视域场景下的光斑图像；其中，所述预设图像放映频率与所述预设采集频率一致。

12、可选的，所述利用所述主干网络中的编码器对所述光斑图像进行特征提取和分布估计，以得到相应的底层特征和分布估计信息，包括：

13、利用所述主干网络中的编码器对所述光斑图像进行特征提取，以得到所述光斑图像的底层特征；

14、利用所述编码器对所述底层特征进行分布估计，以得到所述光斑图像的分布估计信息。

15、可选的，所述利用所述高维流形建立模块对所述底层特征和所述分布估计信息进行信息交互融合，以建立高维流形信息空间，包括：

16、利用所述高维流形建立模块，基于第一损失函数和第二损失函数对所述底层特征和所述分布估计信息进行信息交互融合，以建立高维流形信息空间；

17、其中，所述第一损失函数用于在高维流形上重定义所述光斑图像的信息特征，所述第二损失函数用于将所述信息特征与所述光斑图像进行信息融合。

18、可选的，所述利用所述高维流形建立模块对所述底层特征和所述分布估计信息进行信息交互融合，以建立高维流形信息空间，包括：

19、基于所述底层特征和所述分布估计信息对所述光斑图像进行采样估计，并将采样估计得到的流形进行估计输出，以得到高维流形估计；

20、基于所述高维流形估计训练目标算子，并确定所述目标算子的算子约束条件，以便基于所述目标算子和所述算子约束条件建立高维流形信息空间。

21、可选的，所述利用所述投影选择模块将所述高维流形信息空间中的高维流形向低维分布进行投影生成，并根据预设判断条件从生成的投影中确定与所述光斑图像最接近的目标投影，包括：

22、利用所述投影选择模块，基于第三损失函数和第四损失函数将所述高维流形信息空间中的高维流形向低维分布进行投影生成，并根据预设判断条件从生成的投影中确定与所述光斑图像最接近的目标投影；

23、其中，所述第三损失函数和所述第四损失函数用于根据所述预设判断条件对生成的投影进行选择以得到所述目标投影，并对所述目标投影对应的目标流形分布进行估计建立。

24、可选的，所述的非视域图像重建方法，还包括：

25、从任意具有编码-解码结构的网络结构中确定目标网络结构，并将所述目标网络结构确定为所述主干网络。

26、第二方面，本技术公开了一种非视域图像重建装置，包括：

27、图像获取模块，用于获取待重建图像在非视域场景下的光斑图像；

28、模型获取模块，用于获取预先基于高维流形与投影选择方式构建的图像重建模型；所述图像重建模型包括主干网络、高维流形建立模块和投影选择模块；

29、第一处理模块，用于将所述光斑图像输入至所述图像重建模型，并利用所述主干网络中的编码器对所述光斑图像进行特征提取和分布估计，以得到相应的底层特征和分布估计信息；

30、第二处理模块，用于利用所述高维流形建立模块对所述底层特征和所述分布估计信息进行信息交互融合，以建立高维流形信息空间；

31、第三处理模块，用于利用所述投影选择模块将所述高维流形信息空间中的高维流形向低维分布进行投影生成，并根据预设判断条件从生成的投影中确定与所述光斑图像最接近的目标投影，以得到与所述目标投影对应的目标流形分布；

32、图像重建模块，用于利用所述主干网络中的解码器对所述目标流形分布进行相应的取样解码，以得到与所述光斑图像对应的重建图像结果。

33、第三方面，本技术公开了一种电子设备，所述电子设备包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如前所述的非视域图像重建方法。

34、第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中所述计算机程序被处理器执行时实现如前所述的非视域图像重建方法。

35、本技术提供了一种非视域图像重建方法，包括：获取待重建图像在非视域场景下的光斑图像；获取预先基于高维流形与投影选择方式构建的图像重建模型；所述图像重建模型包括主干网络、高维流形建立模块和投影选择模块；将所述光斑图像输入至所述图像重建模型，并利用所述主干网络中的编码器对所述光斑图像进行特征提取和分布估计，以得到相应的底层特征和分布估计信息；利用所述高维流形建立模块对所述底层特征和所述分布估计信息进行信息交互融合，以建立高维流形信息空间；利用所述投影选择模块将所述高维流形信息空间中的高维流形向低维分布进行投影生成，并根据预设判断条件从生成的投影中确定与所述光斑图像最接近的目标投影，以得到与所述目标投影对应的目标流形分布；利用所述主干网络中的解码器对所述目标流形分布进行相应的取样解码，以得到与所述光斑图像对应的重建图像结果。

36、本技术有益技术效果为：以高维流形为切入点，创新型的构造一种基于高维流形与投影选择方式的图像重建模型，为现有的基于深度学习的成像技术提供一种全新的框架。能够在较少的数据支撑下通过该图像重建模型得到相同的重建结果。相应的，该图像重建模型也能够实现在小数据集下完成通用性的神经网络训练。通过本技术的技术方案，在保证正确还原率的情况下解决了当前基于深度学习的被动式非视域成像方法需要大量先验数据和标注成本的问题，并提高了简单目标的还原任务的准确性。另外，在进行图像重建的过程中不依赖于主体网络的结构，因此在进行小型化移植中也无需花费额外的研发成本。

37、此外，本技术提供的一种非视域图像重建装置、设备及存储介质，与上述非视域图像重建方法对应，效果同上。