调查快速工程对大型语言模型标准化产科诊断的性能的影响 文本:比较研究

科学领域:

• 医疗信息学 医疗信息学
• 在医疗保健中的自然语言处理.
• 人工智能在医学中的应用

背景情况:

• 电子医疗记录 (EMR) 提供了重要的研究价值,特别是在产科.
• 跨机构的诊断术语标准化对于准确的医疗数据分析至关重要.
• 大型语言模型 (LLM) 越来越多地用于各种医疗应用,即时工程对于其有效性至关重要.

研究的目的:

• 用各种快速工程技术评估和比较LLM的性能.
• 通过使用现实世界产科数据来标准化产科诊断术语.
• 评估临床环境中LLM与传统模型的效率和有效性.

主要方法:

• 采用了四个步骤的方法,首先是将诊断映射到ICD-10的相似性测量.
• 候选术语是根据培训数据相似度得分收集的.
• 两个LLM (ChatGLM2,Qwen-14B-Chat [QWEN]) 用于零射击学习,三个BERT变体 (BERT,全词掩盖BERT,MC-BERT) 用于无监督的最佳映射术语生成.

主要成果:

• LLM和BERT表现相似,LLM在无监督场景中表现出效率方面的优势.
• 快速工程显著影响了LLM的性能;QWEN的自我一致性方法提高了F1得分5%和精度7.9%.
• 使用BERT (MC-BERT) 的势头对比学习在BERT变体中实现了最高的性能,尽管差异很小.

结论:

• 简单的产科诊断术语 (LLM),特别是具有优化的提示,如QWEN使用的提示,可以有效地标准化产科诊断术语.
• 通过QWEN提示实现的精度与BERT模型的精度相当.
• 无监督的LLM方法显示了提高研究中的诊断术语对齐和从患者数据中解锁洞察力的潜力.