端到端的临床时间信息提取与多头注意力
Timothy Miller1, Steven Bethard2, Dmitriy Dligach3
1Computational Health Informatics Program, Boston Children's Hospital, Harvard Medical School.
Proceedings of the conference. Association for Computational Linguistics. Meeting
|October 2, 2023
概括
这项研究引入了一种新的多头注意力机制,用于在临床文本中提取时间关系. 该系统在THYME体上取得了最先进的结果,改善了临床应用.
科学领域:
- 临床信息学 临床信息学
- 自然语言处理自然语言处理.
- 人工智能的人工智能
背景情况:
- 从电子健康记录 (EHR) 中提取时间关系对于临床应用至关重要.
- 自2017年临床TempEval以来,在端到端时间关系提取系统方面取得的进展有限.
- 现有的方法通常依赖于事件和时间表达式的黄金标准注释.
研究的目的:
- 开发一个先进的端到端系统,从临床文本中提取时间关系.
- 提高电子健康记录中的时间信息的准确性和适用性.
- 通过不要求黄金标准注释来解决以前方法的局限性.
主要方法:
- 使用了一种新的多头注意力机制.
- 集成了这个机制与预先训练的变压器编码器.
- 使模型能够处理上下文嵌入的多个方面,以增强学习.
主要成果:
- 在THYME集体上实现了最先进的性能.
- 在域内和跨域设置中显著改进.
- 以相当大的差距超越了以前的方法.
结论:
- 拟议的多头注意力机制显著增强了时间关系提取.
- 开发的系统提供了一个强大的解决方案,用于分析临床文本中的时间动态.
- 这一进步对许多下游临床应用具有前景.
