探索缩写大语言模型,符号意义的明确化,语义相似性和相关性评估
Ying Liu1, Genevieve B Melton1, Rui Zhang1
1University of Minnesota, Twin Cities, MN, USA.
概括
大型语言模型 (LLM) 擅长在临床笔记中消除缩写和符号的歧义. 聊天GPT表现出强大的性能与最低的培训,而BERT模型达到超过95%的准确性.
科学领域:
- 自然语言处理 (NLP) 是一种自然语言处理.
- 临床信息学 临床信息学
- 人工智能的人工智能
背景情况:
- 简称,缩写和符号在临床笔记中很常见.
- 准确解释这些术语对于清晰度和下游NLP任务至关重要.
- 传统的机器学习方法已经取得了成功,但也有局限性.
研究的目的:
- 评估大型语言模型 (LLM) 和基于BERT的模型对临床NLP任务的性能.
- 将像ChatGPT这样的LLM和开源模型与传统方法进行比较.
- 评估缩写词/符号意义的表现:明确性,语义相似性和相关性.
主要方法:
- 评估ChatGPT 3.5和4,开放的LLM (例如Mixtral-8x7B) 和基于BERT的模型.
- 在三个NLP任务中进行测试:缩写词/符号意义的明确化,语义相似性和相关性.
- 使用零射击和最小射击训练范式,如适用.
主要成果:
- 聊天GPT表现出显著的能力,在意义上的歧义与最小或零射击学习.
- Mixtral-8x7B对缩写词具有较少感官的精度高,对符号的精度中等.
- 基于BERT的模型在清晰度方面达到95%以上的准确性,超过了以前的方法.
- 聊天GPT显示了超过70%的相关性与人类标准的相似性和相关性.
结论:
- LLM,特别是ChatGPT,为临床缩写和符号意义的明确提供了强大的解决方案.
- 基于BERT的模型为这些关键的NLP任务提供了高度准确和有效的性能.
- 这些发现突显了NLP在改善临床注释清晰度和数据利用方面的进展.
更多相关视频
06:48Lexical Decision Task for Studying Written Word Recognition in Adults with and without Dementia or Mild Cognitive Impairment
Published on: June 25, 2019
9.2K
08:17A Semantic Priming Event-related Potential ERP Task to Study Lexico-semantic and Visuo-semantic Processing in Autism Spectrum Disorder
Published on: April 12, 2018
10.6K
