多模式深度学习用于头癌的阶段分类,使用面具自编码器和视觉转换器与基于注意力的融合
Anas Turki1, Ossama Alshabrawy1, Wai Lok Woo1
1Department of Computer and Information Science, Faculty of Engineering and Environment, Northumbria University, Newcastle upon Tyne NE1 8ST, UK.
Cancers
|July 12, 2025
概括
这项研究通过将成像和临床数据与深度学习相结合,改善了头癌的分期. 多模式方法提高了准确性,以便在头部和部状细胞癌 (HNSCC) 中更好地规划治疗.
科学领域:
- 在瘤学瘤学.
- 人工智能的人工智能
- 医疗成像医学成像
背景情况:
- 头部和部状细胞癌 (HNSCC) 是一种侵略性的恶性瘤,需要精确的分期才能有效治疗.
- 目前的AJCC分期依赖于临床数据,但整合成像功能可以提高准确性.
研究的目的:
- 开发一个多式联网深度学习框架,以加强HNSCC的AJCC阶段化.
- 整合临床和成像数据,以便更准确地进行癌症分类.
主要方法:
- 使用基于VGG16的蒙面自动编码器 (MAE) 进行自我监督的视觉特征提取.
- 集成的注意力机制 (CBAM和BAM) 来改进特征学习.
- 采用注意力加权的融合网络来结合图像和临床数据.
主要成果:
- 在HNSCC和HN1数据集上,四类分类的准确度约为80%,五类分类的准确度约为66%.
- 在曲线下面积 (AUC) 显著改善,特别是在BAM的关注下.
- 证实了整合临床特征可以大大提高阶段分类性能.
结论:
- 拟议的多式联网深度学习管道有效地增强了HNSCC AJCC阶段化.
- 这种方法为癌症研究中基于放射学的强大的多式联络管道树立了先例.
- 整合各种数据类型对于推进精密瘤学的发展至关重要.

