利用变压器模型来预测认知障碍:准确性,效率和可解释性
Kai Ma1, Junzhi Zhang2, Xinhang Huang3
1College of Culture and Health Communication, Tianjin University of Traditional Chinese Medicine, Tianjin, 301617, PR, China.
BMC public health
|February 7, 2025
概括
这项研究引入了一种增强的变压器模型,用于预测轻度认知障碍 (MCI),准确度超过90%. 该模型有效处理混合数据类型,优于早期神经退行性疾病检测的传统方法.
科学领域:
- 医疗保健中的人工智能
- 机器学习用于医学诊断
- 计算神经科学是一种神经科学.
背景情况:
- 轻度认知障碍 (MCI) 是痴呆症的先驱,需要早期检测才能进行有效的干预.
- 传统的预测模型经常与临床数据的异质性作斗争.
- 查尔斯数据集为研究老年人群认知衰退提供了丰富的资源.
研究的目的:
- 开发一个增强的变压器模型来预测MCI.
- 从CHARLS数据集中有效整合和处理混合数据类型 (分类和连续).
- 提高认知衰退预测的准确性和效率.
主要方法:
- 使用具有多头注意力 (4 个头) 的变压器模型来处理集成的分类和连续数据.
- 用于分类特征的独立嵌入层和连续特征的前网络.
- 与支持矢量机 (SVM) 和XGBoost进行模型性能比较,使用RMSProp和一个共弦回火调度器进行150个时代的训练.
主要成果:
- 变压器模型实现了超过90%的准确性,平均绝对误差 (MAE) 容忍度为3.5,超过了SVM和XGBoost.
- 证明了模型的快速融合,训练损失在20个时代内稳定.
- 注意热图可视化了特征的重要性,证实了模型识别关键预测变量的能力.
结论:
- 与传统方法相比,改进的变压器模型为预测认知衰退提供了更高的准确性和效率.
- 该模型能够处理各种数据类型,并通过注意力机制进行解释,这为早期发现神经退行性疾病提供了有前途的方法.
- 这种方法有可能显著提高临床决策,并指导对认知健康的及时干预.


