GANcMRI:心脏磁共振视频生成和使用潜空间提示的生理指导
Milos Vukadinovic1, Alan C Kwan2, Debiao Li2
1University of California, Los Angeles, USA.
Proceedings of machine learning research
|January 12, 2024
概括
生成对抗网络现在可以通过生理指导合成心脏磁共振成像 (cMRI) 视频. 虽然生成的是不可辨别的,但在合成的视频中仍然存在微妙的工件.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 心脏病学 心脏病学
背景情况:
- 生成型人工智能在医学成像中显示出承诺,用于数据增强和图像增强等任务.
- 心脏磁共振成像 (cMRI) 由于其时间维度和有限的公共数据集,提出了独特的挑战.
- 由于这些复杂性,先前的生成模型没有广泛使用cMRI.
研究的目的:
- 开发一个能够合成生理指导cMRI视频的生成对抗网络 (GAN).
- 解决现有数据集的局限性和cMRI视频生成的复杂性.
- 探索GAN在医学教育,数据增强和临床规划方面的应用潜力.
主要方法:
- 介绍了GANcMRI,这是一个基于StyleGAN框架的新型生成对抗网络.
- 在单个cMRI视频上训练模型,以学习隐藏空间.
- 采用框架对框架的方法来建模依赖时间的潜在空间轨迹,以便随着时间的推移产生运动.
主要成果:
- GANcMRI成功合成了高质量的cMRI图像框架,心脏病学家通常无法区分真实的图像框架.
- 虽然单个是真实的,但微妙的工件允许专家区分真实和生成的视频.
- 通过潜在空间提示的基于生理学的调整产生了心脏病学家可以识别的临床相关的表型.
结论:
- GANcMRI展示了生成AI的潜力,用于合成具有生理指导的cMRI视频.
- 该模型对包括数据增强,医学教育,异常检测和手术前规划在内的应用非常有希望.
- 需要进一步精细化,以消除文物并实现完全不可分辨的视频生成.
