评估瘤学大语言模型从放射学报告推断瘤学数据

科学领域:

• 在瘤学瘤学.
• 放射学 放射学是一门学科.
• 人工智能的人工智能

背景情况:

• 放射学报告包含了癌症诊断和管理的关键信息.
• 大型语言模型 (LLM) 是分析临床文本的新兴工具.
• 评估瘤学LLM绩效对于临床整合至关重要.

研究的目的:

• 评估专有和开源的LLM在检测胰腺癌的存在,位置和治疗反应中的有效性.
• 为了比较各种LLM的性能,包括GPT-4,GPT-3.5-turbo,Gemma-7B和Llama3-8B.

主要方法:

• 分析了203个未被识别的胰腺癌放射学报告.
• 手动注释疾病状态,位置和不确定的结节.
• 使用LLM (GPT-4,GPT-3.5-turbo,Gemma-7B,Llama3-8B) 与即时的工程和废弃策略.
• 瘤学家对异常的二次审查.

主要成果:

• 在推断疾病状况方面,GPT-4获得了最高的准确性 (75.5%F1-微).
• 开放型号的米斯特拉-7B (68.6%) 和拉玛3-8B (61.4%) 的性能相似.
• 模型通常很好地识别疾病的位置,但开放模型在术后变化方面遇到了困难.
• GPT-4和Llama3-8B显示出强大的精度和疾病部位识别的回忆.

结论:

• LLM,特别是GPT-4,可以有效地从放射学报告中提取瘤学的见解.
• 总结策略提高了临床支持和分析的LLM性能.
• 开源的LLM显示出在受限制环境中使用的潜力.
• 该研究为未来的LLM瘤学研究提供了有价值的注释数据集.