2D/3D可变形注册用于内镜摄像头图像,使用自主监督离线学习进行手术内肺胸部变形的学习

科学领域:

• 医疗成像医学成像
• 计算机辅助手术 计算机辅助手术
• 机器学习 机器学习

背景情况:

• 对患者器官的内镜摄像头图像进行准确的形状注册对于图像引导手术至关重要.
• 有限的临床数据需要使用合成图像,但合成和真实场景之间的差异带来了估计挑战.
• 现有的方法在合成训练数据和现实外科环境之间的差异上扎.

研究的目的:

• 提出一种自主监督的离线学习框架,用于基于模型的形状注册,使用合成和真实内镜摄像头图像的共同图像特征.
• 通过利用合成图像生成来解决从有限的内镜数据中估计变形形状和视角的挑战.
• 通过将先前的知识,特别是阴影和距离信息,纳入合成图像来提高注册准确性.

主要方法:

• 开发了一个自主监督的离线学习框架,用于基于模型的注册.
• 使用了从模拟手术内肺胸部的非线性变形模型中生成的合成图像.
• 通过添加阴影和距离信息作为合成图像的预先知识来改进注册.
• 通过预测两个合成图像之间的差异模型参数来训练模型,用于真实相机图像记录.

主要成果:

• 实现了注册准确度,平均绝对误差小于10mm.
• 在胸腔镜肺癌切除中显示平均距离误差小于5毫米.
• 与传统的注册方法相比,确认了更好的预测准确性.

结论:

• 拟议的自我监督框架有效地执行图像引导手术的形状注册.
• 在合成图像中纳入前置知识,如阴影和距离,可以显著提高注册准确度.
• 尽管临床培训数据有限,但这种方法为准确的器官形状注册提供了可行的解决方案.