计算机视觉和机器学习技术用于自动3D虚拟图像在增强现实引导机器人部分切除术期间重叠
Daniele Amparore1, Michele Sica1, Paolo Verri1
1Division of Urology, Dept. of Oncology, School of Medicine, University of Turin, San Luigi Hospital, Orbassano (Turin), Italy.
Technology in cancer research & treatment
|February 20, 2024
概括
这项研究开发了软件,可以在机器人手术期间自动叠加3D脏模型. 计算机视觉和卷积神经网络显示出改善部分切除术中增强现实指导的前景.
科学领域:
- 医疗工程 医疗工程
- 机器人手术 机器人手术
- 医疗成像医学成像
背景情况:
- 最少侵入性部分切除术利用3D模型进行增强现实 (AR) 机器人手术指导.
- 目前将虚拟模型共同注册到操作领域是手动的,这限制了效率.
研究的目的:
- 开发用于自动集成和叠加3D脏模型到达芬奇机器人控制台的软件.
- 通过在机器人干预期间提供实时增强现实指导来协助外科医生.
主要方法:
- 探索了两种策略:用印ocyanine绿色 (ICG) 增强的计算机视觉和活体内镜图像的卷积神经网络 (CNN) 处理.
- 创建了超精确的3D模型,用于自动3D-AR引导的机器人辅助部分切除术 (RAPN).
- 这是一项前性研究,涉及20名患者 (A组12名,B组8名).
主要成果:
- 这两种技术都证明了成功的3D模型联合注册.
- 使用ICG的计算机视觉实现了平均7秒的共同记录时间;CNN实现了11秒.
- 没有观察到主要的手术内或手术后并发症,组间的功能结果相似.
结论:
- 使用ICG的计算机视觉能够成功地固定3D模型,需要轻微的手动调整.
- 在没有ICG的情况下,CNN改善了自动检测和边界识别,显示了增强AR指导的潜力.
- 需要进一步的研究来验证这些初步发现.
