在X射线图像中通过多任务学习检测和细分导管
Lin Xi1, Yingliang Ma2,3, Ethan Koland4
1School of Computing Sciences, University of East Anglia, Norwich, NR4 7TJ, UK. l.xi@uea.ac.uk.
概括
这项研究引入了一个深度学习模型,用于在X射线图像中实时检测和细分外科导管. 该方法通过在微创心脏手术过程中准确定位器件来增强外科指导.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 微创心脏手术需要精确的指导.
- 导管等外科设备需要在X射线光镜图像中精确定位.
- 自动检测和细分可以改善图像指导.
研究的目的:
- 开发一个实时卷积神经网络 (CNN) 模型用于手术设备本地化和细分.
- 将电极检测和导管细分集成到一个端到端的深度学习框架中.
- 为了提高图像指导在微创心脏手术.
主要方法:
- 开发了一个具有ResNet架构和多个预测头的CNN模型.
- 采用多任务学习策略,同时检测电极和导管细分.
- 引入了一种新的多层次动态资源优先级方法,以平衡培训期间的任务难度.
主要成果:
- 该方法在公共和私人数据集上进行了验证,用于单任务和多任务场景.
- 与最先进的方法相比,证明了显著的改进.
- 在验证和测试集上的检测和细分多任务中获得了64.37/63.97的平均J.
结论:
- 提出的方法提供了准确性和效率之间的平衡.
- 该模型适用于实时手术指导应用.
- 手术器械的自动检测和细分可以增强最小侵入性手术.


