基于深度学习的结构光显微图像重构方法及系统与流程

本发明涉及图像处理，尤其涉及基于深度学习的结构光显微图像重构方法及系统。

背景技术：

1、随着现代生物医学技术的发展，对显微成像结果的要求越来越高，为了突破光学显微镜的分辨率极限和进行三维成像，结构光照明光切片（光学切片结构照明显微镜（optical sectioning structured illumination microscopy, os-sim））三维显微技术应运而生。其基本原理是借助具有特定空间频率的条纹图案的投射，指示出被观测物处于焦平面的区域。由于离焦区域几乎不会出现条纹，随后便可通过算法去除离焦区域信息，以获取理想的光切片图像。

2、已有的图像重构算法，有neil m a等人于1997年提出的均方根rms（root meansquare）算法、santos s等人于2009年提出的hilo方法（hilo是将宽场成像和散斑成像结合，对两幅原始图像进行处理，去除焦外信息，实现光切片效果）、patorski k等人于2014年提出的基于二维希尔伯特变换的快速自适应光切片算法（fast and adaptive bi-dimensional empirical mode decomposition-hilbert spiral transform, fabmed-hs）等。这些算法有的对噪声敏感，导致成像质量不佳，有的需要对样品和照明条件进行特定适配，缺乏普适性。随着近年来计算机硬件的迅速发展，基于深度学习的方法开始受到重视。但由于光学显微和结构光照明光切片方法的固有原因，难以或无法获取干净图像作为图像重构的训练真值，往往只能借助传统方法的重构结果作为训练目标，这为基于深度学习的图像重构算法的潜力设定了一个严格的上限。

技术实现思路

1、基于背景技术存在的技术问题，本发明提出了基于深度学习的结构光显微图像重构方法及系统，改善了图像重构质量。

2、本发明提出的基于深度学习的结构光显微图像重构方法，将所获取的结构光照明光切片图像输送到已训练完成的深度学习模型中，以输出重构后的光切片图像；所述深度学习模型的训练过程如下：

3、步骤一、对同一观察结构光照明光切片图像目标采用网格照明结构光投射条纹，得到相位图像对，所述相位图像对包括第一类原始图像和第二类原始图像，第一类原始图像和第二类原始图像是两类条纹相位不同的图像；

4、步骤二、对相位图像对中第一类原始图像和第二类原始图像的条纹区域内容进行掩码，得到第一类掩码图像和第二类掩码图像；

5、步骤三、将第一类原始图像、第二类原始图像、第一类掩码图像和第二类掩码图像一并输入到深度学习模型中，得到第一类输出图像和第二类输出图像；

6、步骤四、将第二类输出图像与第一类掩码图像相乘作为损失函数的输入，同时将第一类原始图像与第一类掩码图像相乘作为损失函数的输入，计算得到第一类掩码损失；将第一类输出图像与第二类掩码图像相乘作为损失函数的输入，同时将第二类原始图像与第二类掩码图像相乘作为损失函数的输入，计算得到第二类掩码损失；

7、步骤五、将第一类原始图像与第一类掩码图像相乘作为损失函数的输入，同时将第一类掩码图像与第一类输出图像相乘作为损失函数的输入，计算得到第一类图像内容损失，将第二类原始图像与第二类掩码图像相乘作为损失函数的输入，同时将第二类掩码图像与第二类输出图像相乘作为损失函数的输入，计算得到第二类图像内容损失；

8、步骤六、对第一类掩码损失、第二类掩码损失、第一类图像内容损失和第二类图像内容损失依次相加得到总损失，基于总损失对深度学习模型的参数进行更新调整。

9、进一步地，在步骤一中，同一内容在第一类原始图像和第二类原始图像中的条纹明暗互补。

10、进一步地，对训练后的深度学习模型进行如下验证：

11、采用步骤一的方式构建验证数据集，将验证数据集按照步骤二至六相同的方式计算得到验证用总损失值，判断验证用总损失值在在一定时间内是否有下降趋势；

12、若有，则对深度学习模型继续训练；

13、若无，则深度学习模型训练完毕。

14、基于深度学习的结构光显微图像重构系统，将所获取的结构光照明光切片图像输送到已训练完成的深度学习模型中，以输出重构后的光切片图像；所述深度学习模型的训练过程如下：

15、步骤一、对同一观察结构光照明光切片图像目标采用网格照明结构光投射条纹，得到相位图像对，所述相位图像对包括第一类原始图像和第二类原始图像，第一类原始图像和第二类原始图像是两类条纹相位不同的图像；

16、步骤二、对相位图像对中第一类原始图像和第二类原始图像的条纹区域内容进行掩码，得到第一类掩码图像和第二类掩码图像；

17、步骤三、将第一类原始图像、第二类原始图像、第一类掩码图像和第二类掩码图像一并输入到深度学习模型中，得到第一类输出图像和第二类输出图像；

18、步骤四、将第二类输出图像与第一类掩码图像相乘作为损失函数的输入，同时将第一类原始图像与第一类掩码图像相乘作为损失函数的输入，计算得到第一类掩码损失；将第一类输出图像与第二类掩码图像相乘作为损失函数的输入，同时将第二类原始图像与第二类掩码图像相乘作为损失函数的输入，计算得到第二类掩码损失；

19、步骤五、将第一类原始图像与第一类掩码图像相乘作为损失函数的输入，同时将第一类掩码图像与第一类输出图像相乘作为损失函数的输入，计算得到第一类图像内容损失，将第二类原始图像与第二类掩码图像相乘作为损失函数的输入，同时将第二类掩码图像与第二类输出图像相乘作为损失函数的输入，计算得到第二类图像内容损失；

20、步骤六、对第一类掩码损失、第二类掩码损失、第一类图像内容损失和第二类图像内容损失依次相加得到总损失，基于总损失对深度学习模型的参数进行更新调整。

21、进一步地，在步骤一中，同一内容在第一类原始图像和第二类原始图像中的条纹明暗互补。

22、本发明提供的基于深度学习的结构光显微图像重构方法及系统的优点在于：采用自监督双向学习的深度学习模型训练方式，使得基于深度学习的结构光照明光切片显微图像重构可以不依赖于传统图像重构算法的真值先验；通过组合掩码损失和图像内容损失，深度学习模型得以从拥有不同相位条纹的图像中感知到干净的图像内容作为真值；与现有的以传统图像重构算法为真值的深度学习网络的训练方法相比，本实施例具有更高的网络能力上限，避免了传统图像重构算法可能导致的训练真值不理想问题，在复杂的各类网格结构光照明光切片显微图像重构任务中具有普适性和健壮性。

1.基于深度学习的结构光显微图像重构方法，其特征在于，将所获取的结构光照明光切片图像输送到已训练完成的深度学习模型中，以输出重构后的光切片图像；所述深度学习模型的训练过程如下：

2.根据权利要求1所述的基于深度学习的结构光显微图像重构方法，其特征在于，在步骤一中，同一内容在第一类原始图像和第二类原始图像中的条纹明暗互补。

3.根据权利要求1所述的基于深度学习的结构光显微图像重构方法，其特征在于，对训练后的深度学习模型进行如下验证：

4.基于深度学习的结构光显微图像重构系统，其特征在于，将所获取的结构光照明光切片图像输送到已训练完成的深度学习模型中，以输出重构后的光切片图像；所述深度学习模型的训练过程如下：

5.根据权利要求4所述的基于深度学习的结构光显微图像重构系统，其特征在于，在步骤一中，同一内容在第一类原始图像和第二类原始图像中的条纹明暗互补。