使用开源大型语言模型,从非结构化文本中识别乳腺癌退伍军人的生殖基因检测的机会

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 基因组学和精准医学精准医学

背景情况:

• 获得生殖基因检测对指导癌症治疗和管理至关重要.
• 使用非结构化的临床笔记对于提取这些重要信息来说是一个挑战.
• 大型语言模型 (LLM) 为自动数据提取提供了一个潜在的解决方案.

研究的目的:

• 评估开源,可在当地部署的LLM在识别乳腺癌退伍军人的生殖基因测试访问中的性能.
• 在这个任务中比较不同LLM模型 (Llama 3 70B,Llama 3 8B,Llama 2 70B) 的有效性.

主要方法:

• 在VA系统中确定了一组1,201名患有乳腺癌的退伍军人.
• 专家审查了200名患者的临床笔记,以确定基本事实.
• 用准确度,精度,回忆和F1分数来评估LLM的表现,以专家的共识为基准.

主要成果:

• 拉玛370B获得了高F1得分 (0.912),明显超过了拉玛38B (0.811) 和拉玛270B (0.644).
• 拉玛3 70B的表现与个人专家评审员的表现相当.
• 在整个队列中,LLM识别的访问分布与专家识别的分布相匹配.

结论:

• 开源,可在本地部署的LLM可以有效有效地识别从临床笔记中获得的生殖基因检测.
• 士学位具有提高癌症护理质量和效率的潜力.
• 使用LLM可以帮助在医疗保健系统中保护敏感的患者数据.