从使用大型语言模型的非结构化放射学报告中提取主要肺部疾病的临床数据

科学领域:

• 医疗信息学 医疗信息学
• 放射学中的人工智能
• 自然语言处理自然语言处理.

背景情况:

• 从非结构化的放射学报告中提取临床数据是一项挑战.
• 大型语言模型 (LLM) 提供了自动数据提取的潜力.
• 本研究评估了LLM用于解释无需特殊培训的放射学报告.

研究的目的:

• 评估LLM对于从非结构化的放射学报告中提取临床数据的实用性.
• 为了比较谷歌Gemini Pro 1.0的性能,OpenAI的GPT-3.5和GPT-4在识别肺部结果方面的表现.
• 评估LLM在诊断七种特定肺部疾病的准确性.

主要方法:

• 来自三个大学医院的1800份放射学报告的回顾性分析.
• 七个肺结局被定义并由三个肺病专家评估.
• 使用谷歌双子Pro 1.0,OpenAI的GPT-3.5和GPT-4进行的数据提取.
• 通过至少两名肺病学家之间的协议建立的黄金标准.

主要成果:

• 所有评估的LLM都显示了大多数肺部疾病的高精度 (0.85-1.00).
• GPT-4的表现始终超过了GPT-3.5和Gemini Pro 1.0.0. 这两种表现.
• GPT-4获得了高灵敏度 (0.71-1.00) 和特异性 (0.89-1.00).
• 诸如多流,肺气和肺等特定条件显示近乎完美的准确性 (0.99).

结论:

• LLM,特别是GPT-4,在解释非结构化的放射性报告方面表现出显著的熟练程度.
• 这些模型展示了作为手动临床图表审查的有效替代品的潜力.
• 这些发现支持将LLM整合到临床工作流程中,用于数据提取和分析.