基于神经网络的眼底微动脉瘤图像自动分割方法、装置及系统

本发明涉及神经网络图像分割，具体来说，涉及一种基于神经网络的眼底微动脉瘤图像自动分割方法、装置及系统。

背景技术：

1、糖尿病(dm)是世界上一种日益严重的疾病。根据世界卫生组织(who)的统计，预计到2030年，糖尿病患者人数将达到4.39亿。糖尿病视网膜病变(dr)是糖尿病的主要并发症之一，是世界上最严重的眼部疾病之一，也是导致失明的主要原因之一。幸运的是，dr的早期诊断和治疗可以有效降低糖尿病患者失明的风险。视网膜微动脉瘤(ma)是一种由视网膜毛细血管渗漏和出血引起的小肿胀，被认为是dr最早的临床症状。图1显示了眼底图像中ma的几个例子，它们通常在眼底图像中以小红点的形式出现，在强度、形状、大小和位置上各不相同。毫无疑问，ma分割对dr的早期诊断至关重要，对控制和延缓视力损伤具有重要意义。传统的ma检测主要依靠眼科医生，这使得dr的大规模筛查几乎不可能。因此，ma的计算机辅助检测就应运而生。到目前为止，已经提出了许多微动脉瘤的检测方法，这些方法通常可以分为三类：基于物理模型的方法、基于分类器的方法和基于深度学习的检测方法。基于物理模型的微动脉瘤检测方法主要基于视网膜微动脉瘤的物理特征。joshi等人在《mathematical morphology for microaneurysm detection in fundus images》中通过形态学处理对眼底图像进行增强并去除血管，然后提取微动脉瘤。zhang等人在《feature-transfer network and local background suppression for microaneurysmdetection》中提出了一种基于特征转移网络和局部背景抑制的微动脉瘤检测方法，通过计算特征距离的相似矩阵以测量背景噪声和视网膜对象之间的差异和特征转移网络来检测具有不平衡数据的微动脉瘤。ding等人在《an accurate approach for microaneurysmdetection in digital fundus images》中提出的动态多参数模板(dmpt)匹配方案，通过误差之和结合相关系数来测量匹配度。该方案可以在相关性和相对误差之间平衡模板和ma的匹配度。kamble和kokare在《detection of microaneurysm using local ranktransform in color fundus images》中提出了一种利用梯度导引滤波器提取血管的方法。然而，仍有许多假阳性，如薄血管连接、点状出血和深色斑块。

2、基于分类器的方法主导了微动脉瘤检测的主流，该方法的主要过程包括：候选提取、特征提取和候选分类。akram等人在《identification and classification ofmicroaneurysms for early detection of diabetic retinopathy》中通过数学形态学运算、滤波器组和血管分割提取视网膜图像中存在微动脉瘤的所有可能候选区域，然后根据形状、颜色、强度和统计为每个候选区域制定特征向量，最后将高斯混合模型(gmm)、支持向量机(svm)和基于多模型介质的建模方法的扩展结合在一个集成中，以提高分类的准确性。orlando等人在《an ensemble deep learning based approach for red lesiondetection in fundus images》中采用形态学重建来提取微动脉瘤候选区域。在特征提取过程中，他们构建了卷积神经网络(cnn)模型来提取深度特征，并将其与颜色特征、纹理特征和几何特征相结合，用于候选分类。melo等人在《microaneurysm detection in coloreye fundus images for diabetic retinopathy screening》中提出了一种微动脉瘤增强的滑动带滤波器，从而获得初始微动脉瘤候选。然后，滤波器响应与颜色、对比度和形状信息的组合由分类器集合用于最终候选分类。sopharak等人在《simple hybrid method forfine microaneurysm detection from non-dilated diabetic retinopathy retinalimages》中首先消除渗出物和血管，采用形态学进行粗略分割以识别微动脉瘤候选区域。然后提取了18个微血管特征作为朴素贝叶斯分类器的输入，以对每个候选像素进行分类。shah等人在《automated microaneurysm detection in diabetic retinopathy usingcurvelet transform》中从预处理的绿色通道中去除血管，并通过局部阈值技术提取初步的微动脉瘤候选区域。然后基于统计特征将候选区域分为微动脉瘤和非微动脉瘤。deepa等人在《automated detection of microaneurysms using stockwell transform andstatistical features》中提出了一种基于离散正态stockwell变换和统计特征的方法来区分正常和病变的视网膜图像。他们在自己的数据上分析了各种分类器的结果，但没有在任何公共数据库上进行实验。wang等人在《localising microaneurysms in fundusimages through singular spectrum analysis》中使用光谱分析来测量横截面轮廓的相似性。然后，计算一组系数来识别真实的微动脉瘤。他们选择了三种分类器进行测试，并选择效果最好的分类器进行最终分类。

3、近年来，深度学习技术在各个领域都取得了突破，其发展在医疗领域受到了广泛关注，医学图像分割也成为一个热门话题。基于深度学习的检测方法主要将微动脉瘤检测视为一项分割任务。budak等人在《a novel microaneurysms detection approach basedon convolutional neural networks with reinforcement sample learningalgorithm》中提出了一种基于卷积神经网络(cnn)的微动脉瘤检测方法，该方法具有增强样本学习功能。chudzik等人在《icroaneurysm detection using fully convolutionalneural networks》中提出了一种新的基于补丁的具有批量归一化层和dice损失函数的全卷积神经网络，该网络在e-ophta-ma数据库实现了最佳性能。eftekhari等人在《microaneurysm detection in fundus images using a two-step convolutionalneural network》中提出了一种基于两阶段神经网络的新ma检测方法，以解决不平衡数据问题。他们使用低成本神经网络去除了基本的误测，并使用更复杂的网络对剩余像素进行分类。dai等人在《clinical report guided retinal microaneurysm detection withmulti-sieving deep learning》中提出了一种临床报告引导的多筛选卷积神经网络，该网络利用临床报告中的少量监督信息，通过特征空间中的图像到文本映射来识别潜在的微动脉瘤区域。然后将这些潜在的微动脉瘤区域与眼底图像信息交织，以在高度不平衡的分类问题中进行多重筛选深度挖掘。tan等人在《automated segmentation of exudates,haemorrhages,microaneurysms using single convolutional neural network》中使用10层卷积神经网络来自动、同时分割和区分渗出物、出血和微动脉瘤。

4、计算机辅助诊断(cad)系统可以准确快速地检测dr，从而为患者提供及时的治疗。在dr的cad系统中，病变的分割是精确定义感兴趣区域的先决条件，随后可用于评估疾病的严重程度。早年，研究人员专注于传统的图像处理方法，如形态学运算和阈值分割。由于设计水平的高度依赖性，传统的ma分割方法在实际应用中相对不可行。如今，由于机器学习方法的准确性显著提高，仅依赖于简单提示的传统ma分割方法已被机器学习方法所取代。近年来，与传统的基于机器学习的方法相比，基于深度学习的方法具有显著的性能，许多研究人员采用深度学习方法对糖尿病视网膜病变进行分割。

5、由于视网膜结构复杂，如存在小血块、血管结构、背景噪声等，并且不同设备采集到的眼底图像颜色和亮度不均匀，基于物理模型的方法检测效果往往不稳定，容易造成误检。基于分类器的方法往往采用滤波、背景估计和形态学等传统方法从候选区提取特征，这些传统方法容易受到参数的限制，同时糖网眼底图像复杂，造成微动脉瘤检测精度低。

6、尽管深度学习模型可以避免手工制作复杂的图像特征，但很难分割由相对宏观结构组成的微小病变，如微动脉瘤，成为行业亟待解决的技术问题。

技术实现思路

1、本发明提供了一种基于神经网络的眼底微动脉瘤图像自动分割方法，以解决现有技术中糖网眼底图像复杂，造成微动脉瘤检测精度低难以分割的技术问题。

2、为此，本发明采用的具体技术方案如下：

3、一种基于神经网络的眼底微动脉瘤图像自动分割方法，包括，图像预处理，对原始图像进行预处理，以消除颜色不均所带来的干扰；特征提取，设计了一种端到端的特征提取网络，对视网膜微动脉瘤进行特征提取。

4、在可能的一个设计中，使用otsu阈值算法处理冗余信息、从rgb眼底图像中选择绿色通道来检测视网膜微动脉瘤、采用clahe算法增强绿色通道的对比度、对图像亮度进行伽马校正、对图像进行非局部均值去噪。

5、在可能的一个设计中，所述的端到端的特征提取网络为tuned-psp-unet模型，至少包括，

6、编码器，编码器为vgg16架构，该架构提前在imagenet上进行预训练，有效地对图像进行编码和分类；

7、解码器，包括若干u-net块，每个u-net块从编码器的中间层接收要上采样的最后一个块的输出和激活特征，通过获取输入图像的传递卷积和交叉连接的结果来获得最终的逐像素分割结果；

8、psp模块，位于编码器、解码器的跳跃连接上，以提高网络的性能；

9、nam模块，通过应用权重稀疏性惩罚抑制不显著权重，进而提高特征提取能力和计算效率；

10、损失函数，评估模型预测值和真实值之间的误差。

11、在可能的一个设计中，损失函数为组合损失函数具体如下式：

12、

13、其中，y是基本事实，是预测的掩码；fl和dl分别是focal损失和dice损失。

14、在可能的一个设计中，nam模块使用批量归一化bn中的比例因子γi和λi来衡量每个通道和空间的方差并表示它们重要性，比例因子越大表示空间或者通道的特征越重要，在反向传播时在损失函数中加入了正则化惩罚项来抑制不显著性特征的权值，使网络获得更多注意力去关注权值较大的重要通道和空间特征；bn计算如公式(1)所示：

15、

16、其中，μb、σb分别表示小批量batch的均值和方差，γ和β是可以训练的参数。

17、在可能的一个设计中，比例因子γi的权重wi反映出各个通道变化的大小并表示了通道的重要程度，通道注意力机制公式如公式(2)所示：

18、mc＝sigmoid(wγ(bn(f1)))     (2)

19、其中，wγ表示每个通道的权值，f1表示通道注意力机制输入特征图，mc表示输出特征图。

20、在可能的一个设计中，在空间注意力中，将bn公式(1)应用在空间维度，比例因子γi的权重wi反映出空间变化的程度并表示了空间的重要性，比例因子γi的权重wi越大，该空间像素的方差就越大，表示空间变换的越厉害，包含的空间信息越丰富，空间显著性重要程度越大，权重越小表示空间变化越小，所含空间特征信息也就越单一，空间的显著性重要程度就越小，空间注意力机制的计算公式可表示为：

21、ms＝sigmoid(wλ(bn(f2)))    (3)

22、其中，wλ表示空间像素的权值，f2表示空间注意力机制输入特征图，ms表示输出特征图。

23、本发明还提供一种基于神经网络的眼底微动脉瘤图像自动分割装置，包括存储器、控制处理器及存储在所述存储器上并可在所述控制处理器上运行的计算机程序，所述控制处理器执行所述程序，以实现前述的基于神经网络的眼底微动脉瘤图像自动分割方法。

24、本发明还提供一种控制系统，包括前述的基于神经网络的眼底微动脉瘤图像自动分割装置。

25、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行前述的基于神经网络的眼底微动脉瘤图像自动分割方法。

26、与现有技术相比，本发明的有益效果为：

27、1.本发明提出使用改进的u-net架构对ma图像进行语义分割。该模型使用预先训练的vgg16作为编码器，采用3个3×3的卷积核，经过了relu(非线性激活函数)层以及bn(正则化层)层，既保证了感受野的相同，增加了模型的非线性表达能力，又可以防止训练过程中出现梯度爆炸以及过拟合现象。

28、2.本发明在跳跃连接上引入了一种新的机制，以提取固定宽度神经网络中的多尺度特征和上下文关联，从而提高复杂(模糊和低对比度)ma图像的分割精度。

29、3.本发明在解码器中引入nam注意力机制目的在于利用权重的贡献因子来改善注意力机制，通过应用稀疏的权重惩罚进而降低不太显著的特征的权重，可使模型不仅在权重计算上更加高效，而且能够保持同样的分割性能。

30、4.本发明对眼底图像进行了全面的预处理，并使用组合损失训练模型，强调了损失函数和预处理对网络分割精度的影响。

31、5.本发明提出的技术在ma的语义分割方面获得了最先进的结果。