相关实验视频
Updated: Jun 17, 2025
04:48
Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique
Published on: July 5, 2024
380
图像层面的监督和自我训练用于基于变压器的跨模式瘤细分
Malo Alefsen de Boisredon d'Assier1, Aloys Portafaix2, Eugene Vorontsov3
1Polytechnique Montreal, Montreal, QC, Canada.
Medical image analysis
|August 7, 2024
概括
这项研究介绍了MoDATTS,这是一种用于跨不同医学成像类型的3D瘤细分的新型半监督策略. 它通过有限的数据增强了模型的概括性,在挑战中实现了最高性能,并减少了注释需求.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 由于有限的注释数据,深度神经网络在医疗图像细分中的交叉模式概括中扎.
- 在源和目标成像模式中数据稀缺时,在规模上部署细分模型具有挑战性.
研究的目的:
- 提出MoDATTS,一个半监督的培训策略,用于在未配对的双模数据集上准确的跨模态3D瘤细分.
- 通过利用图像对图像的翻译和自我训练来改善对未注释的目标模式的模型概括.
主要方法:
- 使用图像对图像翻译策略 (TransUNet) 来生成针对目标模式的合成注释数据.
- 采用视觉转换器架构 (Medformer) 进行细分,并纳入代自我训练来弥合领域的差距.
- 集成了一个半监督的目标,使用图像级标签来将瘤从背景中分离出来,特别有用在稀缺的像素级注释中.
主要成果:
- 在CrossMoDA 2022前立腺神经瘤细分挑战中取得了卓越的表现,最高的子得分为0.87±0.04.
- 在跨模态脑质瘤细分任务 (BraTS 2020数据集) 中表现出一致的Dice分数改进.
- 在没有目标注释的情况下达到95%的目标监督模型性能,在目标数据注释20-50%的情况下达到99-100%.
结论:
- MoDATTS有效地解决了医疗图像细分中的跨模式概括挑战,使用有限的注释数据.
- 该策略大大减少了对目标模式中广泛的像素级注释的需求.
- 在各种成像数据集中,MoDATTS显示了自动化医疗图像细分模型实际部署的巨大潜力.
