大型语言模型在采矿领域的变革潜力 电子健康记录 数据:内容分析 内容分析

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 临床数据挖掘 临床数据挖掘

背景情况:

• 评估临床信息提取的大型语言模型 (LLM) 的准确性,效率和成本效益.
• 专注于在瘤电子健康记录 (EHR) 中识别和分类患者的并发症.

研究的目的:

• 将GPT-3.5和GPT-4模型的性能与专门的人类评估器进行比较.
• 评估临床数据结构中的LLM准确性,效率和成本效益.

主要方法:

• 利用OpenAI API从250个个人病史报告中提取结构化并发症数据 (JSON).
• 将LLM结果与5名放射瘤学专家的手册审查进行了比较.
• 使用的指标包括灵敏度,特异性,精度,准确性,F值和麦克纳马测试.

主要成果:

• 在关键指标上,GPT-4显著优于GPT-3.5,在关键指标上表现与医生相当或优于医生 (麦克纳马尔测试,P<.001).
• 比起GPT-3.5 (88.2%) 和医生 (88.8%),GPT-4获得了更高的灵敏度 (96.8%).
• 医生比GPT-4 (96.8%) 准确度略高 (97.7%);GPT-4显示出更高的一致性和可靠性.

结论:

• 有了有效的提示,LLM在临床报告数据提取方面可以与医疗专家相匹配或超越.
• 在大规模数据挖掘方面,LLM在时间和成本方面提供了卓越的效率.
• 人工智能工具对于现实世界的证据生成和与数据库集成是有价值的.