基于CycleGAN的图像对图像翻译为现实的外科训练幻影

科学领域:

• 医疗模拟 医疗模拟
• 计算机视觉 计算机视觉 计算机视觉
• 进行外科手术培训.

背景情况:

• 物理外科训练幽灵提供触觉反,但缺乏现实的视觉环境.
• 生成对抗网络 (GAN) 可以翻译手术内图像,以增强模拟器的真实性.

研究的目的:

• 为了实现图像对图像 (I2I) 翻译,从真正的手术内膜手术图像到手术模拟器视频流.
• 为了提高心脏手术模拟器的现实性,使用CycleGAN.

主要方法:

• 使用CycleGAN模型进行I2I翻译.
• 将平均平方误差 (MSE) 损失与二进制交叉 (BCE) 损失进行比较.
• 作为质量指标,验证的Fréchet发射距离 (FID) 是一种质量指标.
• 研究了输入图像变化的影响.

主要成果:

• 马来西亚股市亏损略高于欧洲央行亏损.
• FID得分有效地确定了最佳的培训时代.
• 减少风格变化和高细节的输入图像改善了翻译结果.
• 成功生成现实的合成手术内图像,用于模拟 mitra 门手术.

结论:

• 循环GAN有效地翻译手术期间的图像,以增强外科模拟器的真实性.
• 输入图像选择显著影响翻译质量.
• 这项技术有助于为心脏手术提供更有效和更现实的手术培训.