可控制照明不变GAN用于多种时间一致的外科视频合成
Long Chen1, Mobarak I Hoque2, Zhe Min3
1Department of Medical Physics and Biomedical Engineering, University College London, London, W1W 7TS, UK.
Medical image analysis
|July 28, 2025
概括
这项研究引入了一种新方法,用于生成具有一致的照明和多样化的风格的现实化手术视频,改进机器学习模型训练. 可控制照明不变生成对抗网络 (CIIGAN) 增强了时间一致性和数据多样性,以更好地推广模型.
科学领域:
- 计算机辅助手术是计算机辅助的手术.
- 医疗图像分析 医学图像分析
- 生成性的对抗性网络.
背景情况:
- 手术视频合成对于增强计算机辅助手术培训数据至关重要.
- 现有的方法在照明不一致和缺乏风格多样性方面扎,阻碍了模型的概括.
研究的目的:
- 开发一种用于生成多样化和照明一致的外科视频序列的新方法.
- 为了提高合成手术视频的时间一致性和现实性.
主要方法:
- 提出了一个可控制照明不变生成对抗网络 (CIIGAN).
- CIIGAN集成了来自新的CII图像空间的多尺度照明不变特征与来自3D场景的纹理不变特征.
- 利用3D场景和CII图像空间进行多样化和时间一致的视频合成.
主要成果:
- 与最先进的方法相比,CIIGAN产生了更现实的和照明一致的视频翻译.
- 在CIIGAN的各种合成数据上训练的细分模型显示出更好的性能.
- 在生成的视频中展示了增强的时间一致性和风格多样性.
结论:
- CIIGAN有效地解决了手术视频合成现有方法的局限性.
- 拟议的方法提高了合成数据的质量和多样性,以改善机器学习模型培训.
- CIIGAN为推进计算机辅助手术研究和开发提供了一个有价值的工具.
