具有边缘意识的多尺度变压器网络,为交叉模式MR图像合成提供预先培训.

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 交叉模式磁共振 (MR) 图像合成的目的是从现有图像中生成缺失的MR序列.
• 监督学习方法通常需要大量配对的多模式数据,这些数据通常很难获得.
• 现有的挑战包括配对数据的稀缺性以及对配对和不配对数据集的有效利用的需要.

研究的目的:

• 提出一种新的多尺度变压器网络 (MT-Net),用于跨模式的MR图像合成.
• 为了利用有限的配对和丰富的未配对数据来提高合成性能.
• 开发一个有效的预培训策略,以增强合成模型.

主要方法:

• 一个保护边缘的蒙面自动编码器 (Edge-MAE) 进行了预训练,以自我监督的方式进行图像赋值和边缘图估计.
• 引入了一个新的补丁智能损失函数,通过自适应地处理掩盖的补丁来提高Edge-MAE性能.
• 在MT-Net中的双级选择性融合 (DSF) 模块集成了来自预训练编码器的多级特征,用于合成.

主要成果:

• 拟议的MT-Net实现了与现有方法可比的性能.
• 该模型即使仅使用70%的可用配对数据,也表现出有效性.
• 边缘意识的预培训策略对学习上下文和结构信息做出了重大贡献.

结论:

• MT-Net为跨模式的MR图像合成提供了一个强大的解决方案,特别是当配对数据有限时.
• 自主监督预培训和多尺度变压器架构的结合是有效的.
• 开发的方法有助于有效利用可用的多模式MR数据.