无监督的SAM引导混合多式联络专家融合网络用于医学图像诊断
Jing Li1, Yixuan Wu1, Xiaorou Zheng1
1Guangdong Provincial Key Laboratory of Multimodal Big Data Intelligent Analysis, South China University of Technology, Guangzhou, China; School of Computer Science and Engineering, South China University of Technology, Guangzhou, China.
概括
这项研究引入了使用医学图像进行癌症诊断的无监督方法,改善了病变定位和多式联络数据融合,而无需昂贵的手动注释. 这种新方法提高了诊断准确性和个性化,以获得更好的患者结果.
科学领域:
- 医学成像分析分析 医学成像分析
- 医疗保健中的人工智能
- 计算瘤学是一种计算瘤学.
背景情况:
- 准确的癌症诊断需要精确的病变定位和多式联络数据集成.
- 当前的方法面临着昂贵的像素级注释和刚性数据融合策略的挑战.
- 图像成像方式的患者特异性变化往往被忽视.
研究的目的:
- 开发使用医学图像进行癌症诊断的无监督框架.
- 为了实现精确的病变定位,而无需手动细分标签.
- 实施适应型多式联通数据融合,根据患者个体特征量身定制.
主要方法:
- 提出了一个无监督的SAM引导的多模式专家混合融合网络 (UnSAM-MoME).
- 利用双交叉验证分段网络,为无监督病变定位的分段任何模型 (SAM) 生成提示.
- 开发了一个混合多模式专家 (MoME) 模块,用于图像和元数据特征的自适应融合.
主要成果:
- UnSAM-MoME在皮肤和乳腺癌数据集上取得了最先进的表现.
- 在诊断准确度,精度和通用性方面显著改善.
- 废弃性研究证实了个别网络模块的有效性.
结论:
- UnSAM-MoME框架为癌症诊断提供了一个可扩展和个性化的方法.
- 无监督的病变定位减少了对昂贵的手动注释的依赖.
- 通过考虑患者特定的数据贡献,自适应式多式联接提高了诊断性能.
