一种以随机结构相似性为指导的多模式医学图像融合方法
Junhui Lv1, Xiangzhi Zeng2, Bo Chen2
1Department of Neurosurgery, Sir Run Run Shaw Hospital, School of Medicine, Zhejiang University, Hangzhou, 310016, China.
Scientific reports
|March 14, 2025
概括
本研究介绍了S3IMFusion,这是一种无监督的多模式医疗图像融合方法. 它通过有效地整合使用CNN和变压器模块的互补图像功能来提高诊断准确性.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 多模体医学图像融合 (MMIF) 集成了来自不同成像类型的信息,以更好地诊断.
- 当前的深度学习方法往往错过了远程图像依赖性,限制了融合质量.
研究的目的:
- 开发一种无监督的图像融合方法,捕获全球上下文信息.
- 为了提高融合医学图像的准确性和全面性.
主要方法:
- 提出S3IMFusion,一种使用CNN和变压器模块的无监督方法.
- 引入了一种新的损失函数,用于整体特征保存,该函数包含随机结构相似性 (S3IM).
- 在培训期间实施了随机像素特征混合和重新排列策略.
主要成果:
- 在哈佛医学图像融合数据集上,S3IMFusion表现出比现有方法更好的性能.
- 该方法在应用到红外和可见图像融合时显示出出色的概括能力.
结论:
- 在医疗图像融合中,S3IMFusion有效地解决了捕捉远程依赖的局限性.
- 拟议的方法为多模式图像融合任务提供了强大的和可通用的解决方案.
