使用生成AI来识别来自非结构化临床笔记的微移动性相关伤害患者的头盔状态

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 临床数据提取

背景情况:

• 大型语言模型 (LLM) 提供了从电子医疗记录中的非结构化临床笔记中提取信息的提高效率的潜力.
• 评估LLM用于分析临床叙述的可靠性和实用性对于其在医疗保健中的采用至关重要.

研究的目的:

• 评估ChatGPT-4 (OpenAI) 的实用性和可靠性,分析临床叙述,以确定患者使用头盔的状态.
• 将基于LLM的信息提取与传统的文本字符串搜索方法进行比较.

主要方法:

• 一项横截面研究利用了来自国家电子伤害监测系统 (2019-2022) 的非身份化数据.
• 用文本字符串搜索和ChatGPT-4提取头盔状态,提示符的复杂性各不相同.
• 使用Cohen κ和Fleiss κ统计数据进行了评估;有效性与研究人员定义的标准标准进行了比较.

主要成果:

• 该LLM显示中等到弱的协议与文本字符串搜索低和中等细节提示.
• 一个高度详细的提示实现了几乎完美的协议,但耗时.
• 该LLM表现出高有效性 (κ=0.98),但在各个会议中表现出不一致性和幻觉倾向.

结论:

• 虽然LLM在临床笔记分析中提供了效率提升,但目前的版本存在局限性.
• 不足够的可靠性,幻觉和不一致的性能阻碍了LLM广泛应用以提取特定患者信息,如头盔使用状态.