使用大型语言模型对脊椎外科手术手术报告进行自动审查:对GPT推理模型进行试点研究

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用
• 临床数据提取

背景情况:

• 2009年"经济和临床健康健康健康信息技术法案"显著增加了临床文档负担.
• 大型语言模型 (LLM) 在分析临床笔记方面表现有希望,以减轻这种负担.
• 之前的工作已经验证了临床数据提取的LLM,但需要扩展到新的笔记类型和域.

研究的目的:

• 为了验证基于GPT的LLM,从脊椎外科手术手术报告中提取临床数据.
• 在这个任务中比较不同GPT模型的性能.
• 评估与人类审稿人的LLMs的准确性和效率.

主要方法:

• 从2022年开始,对88份腰椎脊髓解剖手术报告进行了回顾性审查.
• 由三个独立的人类审核员提取手术特征.
• 提示五个GPT模型 (GPT-4o,GPT-3.5变体) 提取相同的变量.
• 计算和比较模型性能指标与人类地面真相.

主要成果:

• 对于不同变量,人类审稿人的同意有显著差异 (52%-99%).
• 在GPT模型中没有发现显著的性能差异 (p > 0.05).
• GPT-3.5低推理模型展示了最短的持续时间 (20.032秒) 和成本 ($ 0.008).
• 对审查的变量,模型准确度在75%至100%之间.
• 人类同意与模型准确性正相关 (r=0.67,p=0.0003).
• 模型不确定性对错误非常敏感 (0.63-1.00).

结论:

• 在脊椎外科手术中,GPT模型显示了自动化手动图表审查的巨大潜力.
• 在某些情况下,数据提取中的LLM准确性可能会超过人类审查员.
• 需要对各机构和程序进行进一步的验证,以确认可通用性.