三位一体:视觉基础模型用于3D磁共振成像
Shansong Wang1, Mojtaba Safari1, Qiang Li1
1Department of Radiation Oncology, Winship Cancer Institute, Emory University School of Medicine.
Research square
|March 31, 2025
概括
本研究介绍了Triad,这是一种用于3DMRI的新型视觉基础模型 (VFM),在最大的3DMRI数据集 (Triad-131K) 上进行训练. 三元显著提高了对3DMRI应用的细分,分类和注册任务的性能.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 视觉基础模型 (VFMs) 在各种应用中表现出色,但通常依赖于3D CT数据,由于固有的数据差异,限制了它们在3D MRI中的有效性.
- 由于成像原理和数据特征不同,在CT扫描上预先训练有素的现有VFMs可能无法很好地对3D磁共振成像 (MRI) 进行概括.
研究的目的:
- 开发和评估特意为3DMRI设计的VFM Triad,解决基于CT的模型的局限性.
- 建立最大的3DMRI预训练数据集,Triad-131K,包括131,170卷.
主要方法:
- 特里亚德使用自动编码架构来从特里亚德-131K数据集中进行强大的表示学习.
- 使用器官独立的成像描述来指导视觉模式的语义分布.
- 用25个下游数据集对细分,分类和注册任务进行模型性能评估.
主要成果:
- 与从头开始训练的同行相比,三元组初始化的模型在各种任务中显示出显著的性能改进.
- nnUNet-Triad使细分提高了2.51% (17个数据集),Swin-B-Triad使分类提高了4.04% (5个数据集),SwinUNETR-Triad使注册提高了4.00% (2个数据集).
- 当数据模式和器官在上游和下游任务之间保持一致时,预培训的好处最为明显.
结论:
- 三元代表了3DMRI基础模型的重大进步,提高了关键临床任务的性能.
- 对3DMRI数据进行大规模的预训练对于提高下游任务性能和可靠性至关重要.
- 开源的Triad的组件旨在加速在临床实践中采用和开发强大的3DMRI基础模型.
更多相关视频
15:48Tracking the Mammary Architectural Features and Detecting Breast Cancer with Magnetic Resonance Diffusion Tensor Imaging
Published on: December 15, 2014
22.3K
10:25Author Spotlight: Integrating High-Resolution Intravital Imaging and MRI to Enhance Stereotactic Body Radiation Therapy Planning
Published on: April 12, 2024
1.2K
