ASSIST-U:一个用于分段和图像风格转移的系统,用于尿路透镜
Daiwei Lu1, Yifan Wu1, Ayberk Acar1
1Department of Computer Science Vanderbilt University Nashville Tennessee USA.
Healthcare technology letters
|April 19, 2024
概括
一个新的系统,ASSIST-U,从CT扫描中生成逼真的尿路透镜图像. 该工具旨在改善外科手术培训和视觉化程序,如结石切除和尿癌治疗.
科学领域:
- 医疗成像医学成像
- 手术模拟器手术模拟器
- 人工智能的人工智能
背景情况:
- 尿路透镜对于结石和上道尿路细胞癌至关重要,但会带来训练挑战.
- 目前的内镜培训缺乏针对患者的模拟器和标准化的可视化工具.
- 手术错误,如缺失的石头或瘤,需要重复手术.
研究的目的:
- 引入ASSIST-U系统,用于创建现实的尿路透镜图像和视频.
- 为了解决对尿道镜学患者特定训练模拟器的未满足需求.
- 在内镜手术过程中增强手术可视化.
主要方法:
- 使用手术前计算机断层扫描 (CT) 图像作为输入.
- 采用3D UNet模型用于自动CT图像分割和3D表面构造.
- 用于表面染的应用骨架化和用于图像合成的对比无配对翻译 (CUT).
- 训练了一种风格转移模型,以生成现实的尿路透镜视觉效果.
主要成果:
- 在交叉验证中,CT细分模型实现了0.853 ± 0.084的Dice得分.
- 合成尿路透镜图像显示了显著的视觉可信性.
- 与真实图像相比,内核启动距离从0.198 (染) 提高到0.089 (合成).
- 从CT到合成图像的完整管道得到了质量验证.
结论:
- ASSIST-U系统展示了在脏尿路透镜中改善手术可视化的潜力.
- 该技术为开发针对患者的训练模拟器提供了一个有前途的方法.
- 这种人工智能驱动的系统可以通过在手术过程中提供现实的视觉反来帮助外科医生.
