适应性噪声增强注意力,以增强变压器对纵向医疗数据的微调
Ali Amirahmadi1, Farzaneh Etminani1,2, Mattias Ohlsson3
1Center for Applied Intelligent Systems Research in Health, Halmstad University, Halmstad, Sweden.
Frontiers in artificial intelligence
|October 3, 2025
概括
适应性噪音增强注意力 (ANAA) 改进了使用电子健康记录 (EHR) 进行临床预测的变压器模型. 这种微调技术增强了注意力机制,从而提高了复杂医疗数据的性能.
科学领域:
- 人工智能的人工智能
- 机器学习 机器学习
- 计算医学是一种计算医学.
背景情况:
- 变压器模型在各个领域都表现出色,但由于数据有限和事件序列复杂,电子健康记录 (EHR) 的临床预测难以实现.
- 变压器中的自我注意机制在有限的监督下可能在稀疏的临床事件中捕捉微妙的依赖性方面表现不佳.
研究的目的:
- 引入适应性噪音增强注意力 (ANAA),这是一种用于临床预测任务的变压器模型的新型微调技术.
- 为了增强在纵向医学数据中微妙的时间依赖的建模.
主要方法:
- ANAA将自适应噪声注入自我注意力权重中,并应用2D高斯核来平滑注意力图.
- 这种方法扩大和完善注意力分布,强调信息化的临床事件,而不改变模型架构或预训练.
- 该技术仅在微调阶段运行.
主要成果:
- 在多个临床预测任务中观察到一致的性能改善.
- ANAA有效地塑造了学习的注意力行为,为时间依赖模型提供了可解释的见解.
- 与标准微调方法相比,这种方法显示出更高的性能.
结论:
- ANAA是一种简单而有效的微调技术,用于改进基于变压器的临床预测模型.
- 该方法解决了在有限的监督下处理稀疏,事件驱动的医疗数据的局限性.
- ANAA提供了一种实际的解决方案,以提高使用电子健康记录的模型的可解释性和性能.
