关节式开放手术工具的单眼姿势估计 - 在野外

科学领域:

• 计算机视觉 计算机视觉
• 医疗机器人 医疗机器人
• 手术技术 手术技术

背景情况:

• 精确的6D姿势估计手术仪器对于先进的手术应用,如增强现实和机器人技术至关重要.
• 现有的方法面临的挑战是仪器表达,光谱性,遮蔽以及合成和现实数据之间的差距.

研究的目的:

• 开发一个强大的框架,用于单眼6D估计在开放外科手术中的手术仪器.
• 解决关键的挑战,包括对象的表达,光谱性,遮蔽和合成到真实领域的适应.
• 消除对实际手术数据进行大量手动注释的要求.

主要方法:

• 一个合成数据生成管道,利用3D扫描,关节操纵和基于物理的染.
• 一个姿势估计框架,将工具检测与姿势和关节估计相结合.
• 一个采用对合成和真实无注释视频数据进行域调整的培训策略,带有伪标签.

主要成果:

• 该框架在真实开放手术数据上的6D姿势估计中表现出强的表现.
• 成功地应对诸如仪器发音,光谱和闭塞等挑战.
• 验证该方法的现实应用性和整合到手术系统中的潜力.

结论:

• 拟议的框架为单眼6D手术仪器姿势估计提供了可行的解决方案.
• 该方法显示了提高医疗增强现实和机器人手术系统的巨大潜力.
• 该方法有效地利用合成数据和域调整来克服注释限制.