应用NotebookLM,一个大型语言模型与检索增强生成,用于肺癌分期

科学领域:

• 放射学中的人工智能
• 医学成像分析 医学成像分析
• 临床决策支持系统 临床决策支持系统

背景情况:

• 大型语言模型 (LLM) 在放射学中越来越受欢迎,但在可靠性和幻觉方面面临挑战.
• 提取增强生成 (RAG) 提供了一个解决方案,使LLM能够引用可靠的外部知识 (REK).

研究的目的:

• 为了评估NotebookLM的实用性和可靠性,一个配备RAG的LLM,用于肺癌分期.
• 为了比较笔记本LM与GPT-4 Omni (GPT-4o) 在肺癌分期中的性能.

主要方法:

• 摘要日本肺癌分期指南作为REK的笔记本LM.
• 任务记事本LM使用CT发现分期100个虚构的肺癌病例.
• 将NotebookLM的准确性与GPT-4o进行比较 (在提示符中直接提供REK和没有REK).

主要成果:

• 笔记本LM在肺癌分期中实现了86%的诊断准确率.
• 在没有REK的情况下,GPT-4o实现了39%的准确性,在没有REK的情况下达到25%的准确性.
• 笔记本LM在REK中找到引用时显示出95%的准确性.

结论:

• 与GPT-4o相比,RAG-LLM的NotebookLM在肺癌分期方面表现优越.
• 笔记本LM的准确参考位置检索有助于评估响应可靠性和检测幻觉.
• 像NotebookLM这样的RAG-LLM显示出在医学图像诊断中应用的巨大潜力.