DRCM:一个基于协调和多式联络的代表网络,用于医疗图像融合
Wanwan Huang1, Han Zhang1, Yu Cheng1
1College of Artificial Intelligence, Nankai University, Tianjin, China.
Frontiers in physiology
|November 29, 2023
概括
这项研究引入了用于医学图像融合的新型深度学习网络,增强了不同成像类型的共同和独特特征. 拟议的方法提高了融合图像质量,提供了更多的细节和更少的噪音.
科学领域:
- 医疗成像医学成像
- 深度学习 (Deep Learning) 是一种深度学习.
- 计算机视觉 计算机视觉
背景情况:
- 目前基于深度学习的医学图像融合方法往往忽略了模式特定的特征.
- 有效的融合需要从各种医疗图像来源捕获和增强共享和独特的信息.
研究的目的:
- 开发基于注意力机制的脱的表示网络 (DRCM),以增强医疗图像融合.
- 从多模式医疗图像中特别提取,加强和融合共同和独家特征.
主要方法:
- 利用交叉相互信息和对抗目标来获得共同和独家特征.
- 实施协调注意力和多式联络注意力,以增强功能和加权.
- 融合增强了共同和独家特征,以生成最终的医学图像.
主要成果:
- 废弃实验验证了DRCM中的三个新型模块的有效性.
- 与八种方法进行了定性和定量比较,证明了DRCM的卓越性能.
- 在SCD,Nabf和MS-SSIM指标中,DRCM取得了更好的结果,这表明视觉质量和信息内容得到了提高.
结论:
- 拟议的DRCM有效地提取和增强卓越医疗图像融合的共同和独家特征.
- DRCM显著提高了融合图像的视觉质量,结合了更多的源信息,同时减少了噪音.
- 该网络的性能优于现有方法,在多模式医疗图像融合技术方面提供了有前途的进步.


