StAC-DA:具有结构意识的跨模式域调整框架,用于医学图像细分的图像和特征级调整
Maria Baldeon-Calisto1, Susana K Lai-Yuen2, Bernardo Puente-Mejia1
1Departamento de Ingeniería Industrial, Colegio de Ciencias e Ingeniería, Instituto de Innovación en Productividad y Logística CATENA-USFQ, Universidad San Francisco de Quito, Quito, Ecuador.
Digital health
|September 4, 2024
概括
这项研究引入了医疗图像细分的新框架,可以跨不同成像类型工作. 结构意识跨模式域调整 (StAC-DA) 框架通过对齐图像和特征分布来提高细分精度.
科学领域:
- 医学图像分析 医学图像分析
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 卷积神经网络 (CNN) 在医学图像细分方面表现出色,但在不同方式的数据分布方面存在困难.
- 这种局限性阻碍了各种成像数据的整合,尽管它具有临床益处.
研究的目的:
- 介绍一个无监督的框架,结构意识到跨模式域适应 (StAC-DA),用于在不同的成像模式中进行强大的医疗图像细分.
- 为了解决CNN的性能下降,当源和目标数据集具有不同的概率分布时.
主要方法:
- StAC-DA采用两步方法:使用基于CycleGAN的模型进行图像级翻译,并保留结构,然后进行特征级对齐.
- 具有深度监督的U-Net是通过转换的源和目标域图像进行对抗训练,用于细分.
主要成果:
- 该框架在心脏亚结构细分上进行了评估,与现有的无监督域适应方法相比,其表现优越.
- 在磁共振成像 (MRI) 到计算机断层扫描 (CT) 和CT到MRI适应方面,StAC-DA在分割上升性大动脉方面取得了顶级排名.
结论:
- StAC-DA有效地克服了医疗成像数据集中的不同数据分布所带来的挑战.
- 该框架显示了提高医疗图像细分在各种成像模式的准确性的巨大潜力.
