通过双分支波纹编码和可变形特征交互的多模式医疗图像合成
Xuefeng Jia1, Biyuan Li2, Jinying Ma1
1School of Electronic Engineering, Tianjin University of Technology and Education, Tianjin, 300222, China.
Artificial intelligence in medicine
|October 30, 2025
概括
这项研究介绍了DWFI-GAN,这是一种用于生成缺失医疗图像的新方法. 它通过增强特征融合和细节提取来有效地合成缺失的模式,改进多模式成像应用.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 多模式医学成像对于诊断和治疗计划至关重要,提供补充的解剖学和病理学的见解.
- 由于扫描限制或协议差异,缺少或不可用的成像模式阻碍了多模数据的应用.
- 现有的医疗图像合成方法难以有效地整合跨模式的本地细节和全球背景.
研究的目的:
- 开发一种新的生成对抗网络,用于合成缺失的医学成像模式.
- 应对协同提取本地和全球特征的挑战,并将跨模式的互补信息融合在一起.
主要方法:
- 提出了一种双分支波段编码和可变形特征交互生成对抗网络 (DWFI-GAN).
- 引入了一个波形多尺度下采样 (Wavelet-MS-Down) 模块,用于高效的多尺度特征提取.
- 设计了一个可变形的交叉注意力特征融合 (DCFF) 模块,用于交互式多尺度特征融合.
- 整合了带频空间增强 (FSE) 模块的情节性瓶结构,以丰富特征表示.
主要成果:
- 与最先进的方法相比,DWFI-GAN在两个医学成像数据集上表现出更高的性能.
- 定性和定量实验证实了拟议方法的有效性.
- 废弃性研究验证了每个模块对功能融合和细节增强的贡献.
结论:
- 通过改进特征融合和细节提取,DWFI-GAN有效地合成了缺失的医学成像模式.
- 尽管数据有限,但拟议的方法提高了多模式医学成像的实用性.
- 开发的DWFI-GAN提供了一个有前途的解决方案,用于在临床实践中重建完整的多模式数据集.
