多重关注道聚合网络用于多式联络医疗图像融合
Jingxue Huang1, Tianshu Tan2, Xiaosong Li1,3,4
1School of Physics and Optoelectronic Engineering, Foshan University, Foshan, China.
Medical physics
|December 27, 2024
概括
本研究介绍了多种注意力通道聚合网络 (MACAN),用于多式联络医疗图像融合. 通过有效整合多尺度特征和注意力机制,MACAN提高了诊断准确性,在融合和细分任务中表现优于现有的方法.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 多模式医疗图像融合 (MMIF) 合成单模式图像,用于全面诊断.
- 当前的MMIF技术往往忽视了多尺度的特征多样性和注意力相互作用,限制了性能.
- 高效的图像融合对于准确的医学诊断和解释至关重要.
研究的目的:
- 引入一种新的MMIF方法,强调多级特征集成和注意力交互.
- 解决现有方法在捕获多样性特征和全球/本地信息方面的局限性.
- 为了提高融合医疗图像的视觉质量和客观性能.
主要方法:
- 使用各种分支块将源图像分解为多尺度特征.
- 采用单独的卷积和变压器注意力分支用于全球和本地信息提取.
- 利用道和空间注意力机制来进行区间间特征聚合和注意力相互作用.
主要成果:
- 在MRI-PET和MRI-SPECT融合中,MACAN在Qcb,AG,SSIM,SF,Qabf和VIF等指标上取得了显著的改进.
- 在定量评估中,在比较方法上表现优越.
- 在医学图像细分任务中展示了有希望的结果,实现了竞争力的Dice系数和Hausdorff距离.
结论:
- 多重注意力通道聚合网络 (MACAN) 有效地保留了源图像中的互补信息.
- 在视觉质量和医疗图像融合和细分的客观指标方面,MACAN优于最先进的方法.
- 拟议的方法在多式联络医疗图像分析方面取得了重大进展.
