语义结构的保存,以准确的多模式质瘤诊断
Chaoyu Shi1, Xia Zhang2, Runzhen Zhao3
1School of Computer Information Engineering, Shanxi Technology and Business University, Taiyuan City, Shanxi Province, China.
Scientific reports
|February 28, 2025
概括
这项研究引入了一种新的方法,即自由文本报告的审查,以保护多模式语义结构 (RFPMSS),以改善医疗图像分析的深度学习. RFPMSS增强了多模式语义结构的保存,并且在有限的监督下取得了最先进的结果.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 多式联络医疗图像分析中的深度学习进展依赖于预训练.
- 现有的方法往往忽视模式特定数据中的语义结构.
- 监督前期培训要求复杂,耗时的两阶段注释.
研究的目的:
- 为多式医疗图像分析提出一种新的语义结构保护一致性方法.
- 解决现有预训练策略的局限性.
- 为了提高医疗图像和文本报告之间的对齐.
主要方法:
- 介绍了用于维护多模式语义结构 (RFPMSS) 方法的自由文本报告的审查.
- 开发了一种多学习方法,以捕捉模式特定的语义结构.
- 从自由文本患者检查报告中提取监督信号,用于全球图像-文本对齐.
主要成果:
- 在多式联络医疗图像分析任务中实现了最先进的性能.
- 在极其有限的监管条件下证明有效.
- 根据山西省癌症医院和山西省人民医院的数据集进行验证.
结论:
- 拟议的RFPMSS方法有效地保留了多模式语义结构.
- 使用自由文本报告和多分配的跨模式监督是一个强大的策略.
- 该方法为多式联络医疗图像分析提供了更高效和有效的解决方案.
