一种腹腔镜手术的肝脏表面重建方法、装置、计算机设备和存储介质

本发明涉及数据处理领域，特别是涉及一种腹腔镜手术的肝脏表面重建方法、装置、计算机设备和存储介质。

背景技术：

1、利用腹腔镜术中场景进行腹部组织的三维表面重建以进行增强现实导航辅助手术，是近年来的研究热点。肝脏表面重建技术需要获得术中场景的复杂几何信息。目前依靠分析腹腔镜图像获取术中几何信息进行表面重建的技术主要有四种方法，包括:立体视觉、同时定位与制图(slam)、运动构造(sfm)和阴影形状(sfs)。其中，立体视觉可以通过左右图像的特征匹配完成深度计算，利用立体摄像机标定参数直接从视差中计算出立体图像像素的物理三维重建。视差的估计是通过立体匹配来实现的，是立体视觉方法的关键技术。

2、目前腹腔镜肝切除术中表面重建采用的基于立体腹腔镜的立体视觉算法通过密集立体重建和表面自动分割，获得术中肝脏表面密集点云，取得了不错的结果。然而由于腹腔镜视角非常有限(腹腔镜视角的角度只有70°)，只能重建一小块肝脏表面，难以获得肝脏全局重建结构。这使得与全局术前三维解剖模型的自动配准以实现术中增强现实导航非常具有挑战性。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供了一种腹腔镜手术的肝脏表面重建方法、装置、计算机设备和存储介质。

2、为了解决上述中至少一个技术问题，本发明实施例提供了一种腹腔镜手术的肝脏表面重建方法，包括：

3、获取腹腔镜手术中肝脏血流开放期的肝脏的左局部表面信息以及右局部表面信息；

4、通过中心对称普查变换匹配算法结合半全局代价聚合方法对所述左局部表面信息以及所述右局部表面信息进行处理，生成密集匹配的视差图；

5、利用视差梯度信息逐像素连通性分割方法，提取并处理所述视差图的边缘，得到边缘提取图，采用基于gpu的分割合并连通域标记方法对所述边缘提取图中的连通区域进行标注与提取处理，得到腹腔镜图像中的肝组织区域，利用分割后的视差图对提取的肝组织区域进行三维重建，得到肝脏局部点云；

6、通过点云拼接算法拼接融合各肝脏局部点云，得到肝脏的全局表面重建点云。

7、优先地，所述获取腹腔镜手术中肝脏血流开放期的肝脏的左局部表面信息以及右局部表面信息，包括：

8、在腹腔镜手术中肝脏血流开放期，通过腹腔镜分区域多视角从肝脏切面及两侧肝脏表面进行独立扫描，得到肝脏的左局部表面信息以及右局部表面信息。

9、优先地，所述通过中心对称普查变换匹配算法结合半全局代价聚合方法对所述左局部表面信息以及所述右局部表面信息进行处理，生成密集匹配的视差图，包括：

10、采用中心对称普查变换的局部匹配代价算法对所述左局部表面信息以及所述右局部表面信息进行像素转换，并在像素转换进行二进制编码，得到第一csct位向量和第二csct位向量；

11、计算所述第一csct位向量和所述第二csct位向量的汉明距离，并根据所述汉明距离计算所述左局部表面信息以及所述右局部表面信息的像素的匹配代价并基于所述像素的匹配代价构建代价图；

12、根据所述代价图中并采用半全局代价聚合方法结合左右视图中多个方向的多向1d路径生成密集匹配的视差图。

13、优先地，所述根据所述代价图中并采用半全局代价聚合方法结合左右视图中多个方向的多向1d路径生成密集匹配的视差图，包括：

14、在所述代价图中并采用半全局代价聚合方法结合左右视图中多个方向的多向1d路径近似全局2d平滑约束；

15、采用动态规划法计算代价聚合并结合所述全局2d平滑约束计算所述多向1d路径中每条路径lr的最小代价；

16、根据所述每条路径lr的最小代价获取每个像素点的视差估计；

17、根据所述每个像素点的视差估计生成密集匹配的视差图。

18、优先地，所述利用视差梯度信息逐像素连通性分割方法，提取并处理所述视差图的边缘，得到边缘提取图，包括：

19、根据三角剖分重建原理，利用标定后的相机参数计算出所述视差图中每个像素点的三维信息；

20、使用canny边缘检测算法对每个像素点的三维信息进行边缘检测，得到无效边缘；

21、利用视差梯度信息逐像素连通性分割方法对所述无效边缘进行退化处理，得到所述边缘提取图。

22、优先地，所述采用基于gpu的分割合并连通域标记方法对所述边缘提取图中的连通区域进行标注与提取处理，得到腹腔镜图像中的肝组织区域，利用分割后的视差图对提取的肝组织区域进行三维重建，得到肝脏局部点云，包括：

23、采用基于gpu的分区合并连通区域标注方法进行所述连通区域标注与提取；

24、以所述边缘提取图中所有非边缘点创建分区路径表，获取分区映射，进一步基于所述分区映射构建点的坐标查找表，通过值的链式更新合并所述分区映射的区域进行查找表的自迭代；

25、使用查找所述坐标查找表，更新完分区映射后得到新的标签映射；

26、通过标记标签值的位置，在所述视差图中提取腹腔镜图像中肝组织区域；

27、利用分割后的视差图对提取的目标点云进行三维重建，完成各腹腔镜视野下的肝脏局部点云的表面重建。

28、优先地，所述通过点云拼接算法拼接融合各肝脏局部点云，得到肝脏的全局表面重建点云，包括：

29、通过基于几何特征配准和基于图像特征配准的自适应点云拼接算法对各肝脏局部点云进行匹配拼接；

30、在所述匹配拼接过程中，在对齐配准后采用随机样本一致性算法对误匹配特征点进行剔除，对剔除后的各肝脏局部点云拼接成整体点云结构，得到所述全局表面重建点云。

31、一种腹腔镜手术的肝脏表面重建装置，包括：

32、获取模块，用于获取腹腔镜手术中肝脏血流开放期的肝脏的左局部表面信息以及右局部表面信息；

33、生成模块，用于通过中心对称普查变换匹配算法结合半全局代价聚合方法对所述左局部表面信息以及所述右局部表面信息进行处理，生成密集匹配的视差图；

34、第一重建模块，用于利用视差梯度信息逐像素连通性分割方法，提取并处理所述视差图的边缘，得到边缘提取图，采用基于gpu的分割合并连通域标记方法对所述边缘提取图中的连通区域进行标注与提取处理，得到腹腔镜图像中的肝组织区域，利用分割后的视差图对提取的肝组织区域进行三维重建，得到肝脏局部点云；

35、第二重建模块，用于通过点云拼接算法拼接融合各肝脏局部点云，得到肝脏的全局表面重建点云。

36、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述方法的步骤。

37、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述方法的步骤。

38、上述一种腹腔镜手术的肝脏表面重建方法、装置、计算机设备和存储介质，获取腹腔镜手术中肝脏血流开放期的肝脏的左局部表面信息以及右局部表面信息；通过中心对称普查变换匹配算法结合半全局代价聚合方法对所述左局部表面信息以及所述右局部表面信息进行处理，生成密集匹配的视差图；利用视差梯度信息逐像素连通性分割方法，提取并处理所述视差图的边缘，得到边缘提取图，采用基于gpu的分割合并连通域标记方法对所述边缘提取图中的连通区域进行标注与提取处理，得到腹腔镜图像中的肝组织区域，利用分割后的视差图对提取的肝组织区域进行三维重建，得到肝脏局部点云；通过点云拼接算法拼接融合各肝脏局部点云，得到肝脏的全局表面重建点云。因此，能够结合手术操作规律，利用入肝血流阻断期肝脏处于相对静止的状态(无需进行肝切除操作，手术器械交互产生的形变小)，进行腹腔镜分区域多视角扫描捕获肝脏局部信息，进而通过中心对称普查变换(csct)模块立体匹配算法结合半全局块匹配动态规划生成密集匹配视差图实现实时肝脏各局部区域的高精度密集重建，获得相应表面重建点云。再结合点云拼接算法将各局部点云信息拼接融合为整体肝脏表面重建点云，为后续图像叠加导航提供技术支持。