M2OCNN:多对一协作神经网络,用于同时进行多模式医疗图像合成和融合
1Chongqing Key Laboratory of Image Cognition, College of Computer Science and Technology, Chongqing University of Posts and Telecommunication, Chongqing, 400065, China.
Computer methods and programs in biomedicine
|February 5, 2025
概括
这项研究引入了一个统一的神经网络,用于多模式的医疗图像合成和融合,即使缺少数据. 新模型通过从单个模式生成高质量的合成和融合图像来增强临床诊断.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 从多模式医疗图像中获取全面信息是具有挑战性的,因为多模式的依赖性和缺失的数据.
- 现有的跨模态医疗图像合成 (CMIS) 和多模态医疗图像融合 (MMIF) 方法通常将它们视为单独的任务.
- 缺乏一个统一的框架来生成合成和融合图像,特别是缺失的模式.
研究的目的:
- 提出一个统一的框架,同时解决CMIS和MMIF.
- 开发一种能够生成合成和融合医疗图像的模型,即使某些模式缺失.
- 改进从多模式医学图像获得的全面信息获取,用于临床诊断和治疗.
主要方法:
- 引入多对一协作神经网络 (M2OCNN),这是CMIS和MMIF的统一模型.
- 将图像融合视为单一框架内的特定形式的合成.
- 使用并行解混合网络,综合功能路由器和系列全模式混合网络.
- 采用混合分辨率的注意力机制和变压器变体 (Coarsormer,ReCoarsormer) 来处理高频干扰.
主要成果:
- 与最先进的方法相比,M2OCNN在三个多模式医学成像数据集上表现出更高的性能.
- 在合成任务中实现了2.4dB的平均PSNR改进.
- 即使存在缺失的模式,也成功生成了高质量的合图像.
结论:
- M2OCNN为CMIS和MMIF提供了一种新的,统一的解决方案,可以从单个模式生成图像.
- 这种统一的方法推进了多模式医学成像研究.
- 该框架对改善临床诊断和治疗规划具有重大意义.
