语义超谱图像合成用于手术数据科学中的跨模式知识传输
Viet Tran Ba1,2, Marco Hübner3,4,5, Ahmad Bin Qasim3,6,4,5
1Division of Intelligent Medical Systems, German Cancer Research Center (DKFZ), Heidelberg, Germany. viet.tranba@dkfz-heidelberg.de.
概括
这项研究引入了一种新的生成建模方法,使用隐性扩散模型 (LDM) 来克服超光谱成像 (HSI) 中的数据稀缺性. 该方法增强了手术HSI数据集,提高了多达35%的语义细分性能.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 超光谱成像 (HSI) 为手术内应用,如组织分类和癌症检测提供了显著的潜力.
- 手术HSI的一个主要局限是缺乏全面的数据集,阻碍了数据驱动算法的开发.
- 跨不同光学成像模式的知识转移对于推进HSI应用至关重要.
研究的目的:
- 为了解决有限的外科手术HSI数据集的关键瓶.
- 开发一种使用生成建模的创新方法,用于跨成像模式的知识传输.
- 从其他成像来源创建现实的HSI数据.
主要方法:
- 提出了一个潜伏扩散模型 (LDM),用于将语义细分面具转换为现实的超谱图像.
- 利用生成建模来促进跨光学成像模式的知识传输.
- 评估了使用手术场景细分作为下游任务的方法的有效性.
主要成果:
- LDM 显示出适合合成高分辨率,现实的 HSI,即使训练数据有限或跨模式注释.
- 生成式增强方法改善了语义HSI细分性能,在Dice相似系数中实现了高达35%的增加.
- 该方法在各种注释中被证明是有效的,包括几何分布外数据.
结论:
- 拟议的基于LDM的方法有效地以一种模态不可知的方式增加了HSI数据集.
- 这种方法为克服新型成像模式的数据限制提供了一个蓝图.
- 它有助于在外科HSI中开发更强大的数据驱动算法.
