使用基础的大型语言模型从胸部外科手术操作笔记中提取关键元素的可行性

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用

背景情况:

• 操作笔记对于患者护理至关重要,但手动提取数据是耗时的.
• 大型语言模型 (LLM) 显示了自动化这种提取过程的潜力.
• 这项研究评估了LLMs从胸部外科手术手术笔记中提取关键元素.

研究的目的:

• 评估使用LLM用于从胸部外科手术手术笔记中自动提取关键信息的可行性.
• 在这个任务中比较不同LLM的准确性和效率.

主要方法:

• 三个LLM (Gemini,ChatGPT,LLaMA) 被用于从116个胸部手术手术笔记中提取数据.
• 一位失明的胸部外科医生评估了准确性.
• 盲人医生定时手动与基于LLM的特定元素的提取 (方法,目的,并发症,左边的设备).

主要成果:

• 双子号获得了最高的准确性 (95.3%),其次是ChatGPT (93.1%) 和LLaMA (87.7%).
• 法学士使用显著减少的提取时间:4.1s vs. 22.1s (急诊医生) 和3s vs. 30s (放射科医生).
• P值<0.001表示统计学意义.

结论:

• 在人类监督下,LLM可以可靠地从胸部手术笔记中提取关键信息.
• 在不牺牲准确性的情况下,LLM的实施为临床医生节省了大量的时间.
• 建议对LLM进行比较评估,以满足特定的机构需求.