X光图像三维重建方法、系统、电子设备及存储介质

本发明属于计算机视觉，具体涉及一种x光图像三维重建方法、系统、电子设备及存储介质。

背景技术：

1、在临床实践中，通常使用计算机断层扫描（computed tomography，ct）、磁共振成像（magnetic resonance imaging，mri）和x光成像等技术获得医学图像，以进一步了解患者体内的情况。然而，这三种成像技术各有其局限性。例如，ct 图像能够提供人体内部结构的详细三维视觉信息，但患者需承受较高的辐射剂量，存在安全隐患。此外，ct 成像过程中使用的电离辐射可能对人体造成长期健康影响，特别是对需要多次检查的患者。mri 则提供了一种无电离辐射的非侵入性三维成像方法，但由于其强磁场特性，无法应用于患有金属植入物的患者。此外，mri 成像过程耗时较长，且设备昂贵，限制了其在部分医疗机构的普及应用。同时，ct 和 mri 成像都需要患者保持躺卧姿势，这导致人体器官负重情况与临床诊断需求不一致，影响了某些诊断的准确性。

2、相比之下，x 光成像因成本低、辐射剂量低，且可以对站立患者进行成像，是最常用的临床模式。临床医生通常通过冠状面和矢状面视图获取患者的双平面 x 光图像，以诊断各类体内疾病。然而，x光成像的明显缺点是仅能获取三维对象的二维投影，仅提供有限的二维信息，无法完整呈现人体内部详细结构的三维图像。这一缺点限制了临床评估和治疗选择，可能导致临床决策不稳定且易于出错。例如，医生在面对复杂的骨折或内脏器官损伤时，仅凭二维 x 光图像可能难以准确判断受伤的程度和位置，从而影响治疗效果。

3、为解决这一问题，众多研究者致力于结合新技术实现更有效的x光三维重建。由于神经网络卓越的特征学习能力，深度学习在计算机视觉、自然语言处理及其各个下游任务中取得了突出表现。研究人员将深度学习引入x光三维重建任务，使传统依赖人工和先验知识的方法转变为依靠大量数据自主学习的三维重建方法。深度学习通过训练神经网络，能够自动从大量x光图像中取复杂的特征和模式，进行高效的三维重建。相较于传统方法，采用深度学习的方法显著提升了 x 光图像的三维重建效率和质量。例如卷积神经网络（convolutional neural networks，cnn）能够在处理大规模图像数据时展现出卓越的性能，通过层层提取图像的局部和全局特征，实现高精度的三维重建。

4、目前主流的三维体重建方法仍然面临着器官模糊、边缘不清晰等挑战，主要有三个原因。首先，它们在编码器采样阶段仅依赖卷积层进行特征提取；其次，在编码阶段，独立提取双视角特征；最后，深层二维到三维的维度转换类型通常采用简单的维度展开，导致深度信息不足，无法进行准确的三维特征重建。

技术实现思路

1、本发明针对上述问题，提供了一种x光图像三维重建方法、系统、电子设备及存储介质，旨在使用两张x光图片即可完成三维ct的重建，减少患者接受的辐射。

2、根据本公开实施例的第一方面，提供一种x光图像三维重建方法，所述方法包括利用两个并行的编解码器网络，分别对二维x光图像的冠状面和矢状面进行三维重建，其中，在编码器网络中，利用局部特征增强模块分别提取冠状面x光图像和矢状面x光图像的二维特征图；利用注意力交互模块对冠状面x光图像和矢状面x光图像的二维特征图进行信息交换和融合；利用维度转换单元将所述注意力交互模块处理后的二维特征图转换成三维特征图；

3、在解码器网络中，利用3d反卷积模块通过逐步放大三维特征图并进行三维卷积操作获取三维图像。

4、在一些实施例中，重建所述三维特征过程中，所述解码器网络还引入多级特征融合技术，通过逐层融合不同级别的三维特征信息，用于保留重建获取的三维图像在细节和全局结构上的特征。

5、在一些实施例中，所述局部特征增强模块包括全局特征提取分支和局部特征提取分支，所述全局特征提取分支使用标准注意力机制提取低频全局特征；所述局部特征提取分支通过全连接层变换得到，，，在上进行局部特征聚合，聚合后的结合执行上下文感知局部增强，从而获取高频局部特征；将所述高频局部特征和所述低频全局特征沿通道维度链接，再通过全连接层降低维度，输出所述二维特征图。

6、在一些实施例中，利用深度卷积在上进行局部特征聚合，并且局部特征聚合的权重进行全局共享，聚合后的结合生成上下文感知权重。

7、在一些实施例中，聚合后的结合生成上下文感知权重，具体包括：使用两个深度卷积分别聚合和的局部信息；计算和的hadamard乘积，并通过对hadamard乘积结果进行变换获得-1和1之间的上下文感知权重。

8、在一些实施例中，利用注意力交互模块对冠状面x光图像和矢状面x光图像的二维特征图进行信息交换和融合，具体包括：

9、将两种x光图像的二维特征图分别经过堆积的卷积层和残差连接，得到包括关键信息的特征图；

10、沿着极线融合双视图特征，在高维度上连接包括关键信息的特征图，并通过自注意模块和通道压缩模块学习各通道的权重，获取双视角交互后的融合特征；

11、将两种x光图像的二维特征图分别加上双视角交互后的融合特征，经过激活层后得到输出特征图。

12、在一些实施例中，所述维度转换单元利用transformer-encoder模块，以及结合跳跃连接实现二维特征与三维特征的转换，具体包括：

13、将二维特征图展平为一维向量，再通过多头自注意力机制和前馈层得到重要特征图；

14、使用线性层、dropout层和激活层将重要特征图重塑为3d特征图。

15、根据本公开实施例的第二方面，提供一种x光图像三维重建系统，所述系统利用两个并行的编解码器网络，分别对二维x光图像的冠状面和矢状面进行三维重建，包括：

16、编码器单元，用于利用局部特征增强模块分别提取冠状面x光图像和矢状面x光图像的二维特征图；利用注意力交互模块对冠状面x光图像和矢状面x光图像的二维特征图进行信息交换和融合；利用维度转换单元将所述注意力交互模块处理后的二维特征图转换成三维特征图；

17、解码器单元，用于利用3d反卷积模块通过逐步放大三维特征图并进行三维卷积操作获取三维图像。

18、根据本公开实施例的第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述x光图像三维重建方法的步骤。

19、根据本公开实施例的第四方面，提供一种非临时计算机可读存储介质，所述存储介质上存储有计算机指令，所述指令被处理器执行时实现上述x光图像三维重建方法的步骤。

20、本公开实施例提供的一种x光图像三维重建方法、系统、电子设备及存储介质，方法包括利用两个并行的编解码器网络，分别对二维x光图像的冠状面和矢状面进行三维重建，其中，在编码器网络中，利用局部特征增强模块分别提取冠状面x光图像和矢状面x光图像的二维特征图，这一步骤通过一系列卷积操作和非线性激活函数来加强图像的局部特征，使得网络能够更好地捕捉图像中的关键细节信息。利用注意力交互模块对冠状面x光图像和矢状面x光图像的二维特征图进行信息交换和融合；这是为了充分利用双视角图像的互补信息，在双视角间引入了注意力交互模块。该模块通过注意力机制，在两个视角的特征图之间进行信息交换和融合，从而提升特征提取的准确性和丰富性。注意力交互模块能够有效地捕捉不同视角间的相关性，使得模型在重建过程中能够综合考虑多视角的信息，提高重建结果的准确性。利用维度转换单元将所述注意力交互模块处理后的二维特征图转换成三维特征图；这一模块的设计目的是在保持高维特征信息的同时，实现维度的扩展和转换，确保在解码阶段能够有效地重建出高质量的三维结构。维度转换单元采用transformer-encoder 操作，结合跳跃连接，在进行维度转换的过程中最大限度地保留特征信息，减少特征损失。在解码器网络中，利用3d反卷积模块通过逐步放大三维特征图并进行三维卷积操作获取三维图像。这一过程不仅能够重建出高分辨率的三维结构，还能够保留图像的细节信息和纹理特征。为了进一步提升重建效果，解码器中还引入了多级特征融合技术，通过逐层融合不同级别的特征信息，确保重建出的三维图像在细节和全局结构上都具有较高的准确性和一致性。

21、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。