多式医疗图像到图像翻译通过变化自编码器隐藏空间映射

科学领域:

• 医疗成像医学成像
• 辐射疗法 辐射疗法
• 人工智能的人工智能

背景情况:

• 医学图像翻译对于放射治疗至关重要,但目前的方法是特定于模式的,阻碍了临床部署.
• 现有的方法需要对每个成像模式对进行单独的模型培训,从而限制了效率.

研究的目的:

• 开发一个统一的医疗图像翻译方法,使用变量自编码器 (VAE) 隐藏空间映射.
• 为了在临床应用中实现不同医学成像模式之间的灵活和高效的转换.

主要方法:

• 一个三阶段的方法,涉及VAE共享隐性空间学习,堆叠双向变压器的模式映射,和VAE解码器微调.
• 利用87例头部和部病例的配对成像数据 (CBCT,CT,MR T1c,MR T2W).
• 使用平均绝对误差 (MAE),峰值信号对噪声比 (PSNR) 和结构相似性指数 (SSIM) 的定量评估,以及剂量计和主观评估.

主要成果:

• 该VAE模型实现了高质量的图像重建 (FID 4.84,PSNR 32.80 dB,SSIM 92.33%).
• 合成CT任务在内部模拟中显示出更高的准确性,而不是跨模拟翻译 (例如,CBCT到CT MAE 21.60 HU).
• 交叉对比MR转换产生了类似的结果 (PSNR~26 dB,SSIM~85%). 合成CTs在IMRT规划中实现了>99%的马传导率,尽管合成MR图像质量主观上低于真实MR图像.

结论:

• 提出的三阶段方法成功创建了一个统一的医疗图像翻译模型.
• 该模型在各种医学图像翻译任务中展示了灵活性和有效性,提供了显著的临床潜力.