医学文本的多代理总结和自我评估框架:开发和评估研究

科学领域:

• 人工智能的人工智能
• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.

背景情况:

• 大型语言模型 (LLM) 在处理医疗文本方面表现有前途,但容易出现不准确 (幻觉).
• 人类专家对LLM输出的审查是耗时和昂贵的,阻碍了临床部署.
• 确保准确性和可靠性对于医疗保健中的LLM至关重要.

研究的目的:

• 开发一种人工智能系统,从非结构化医疗数据中提取结构化信息.
• 整合自我验证机制来评估LLM输出准确性和可靠性.
• 增强人工智能驱动的医学总结和评估的稳定性和可靠性.

主要方法:

• 一个两层的框架:总结 (Llama2-70B,Mistral-7B) 和评估 (GPT-4-turbo作为法官).
• 双对比和即时策略评估了总结的连贯性,一致性,流性和相关性.
• 对LLM的判断与医学专家的评估进行了比较,并分析了专家间的分歧.

主要成果:

• GPT-4表现出与专家判断的强烈一致 (83.06%的人同意至少一名专家).
• 与基线提示相比,快速增强的指导改善了GPT-4的调整.
• 观察到专家共识的变化 (总体上为19.2%,在3位专家中为54%).

结论:

• 在医学数据总结和评估方面,LLM可以作为可靠的工具,减少对人类的依赖.
• 拟议的多种药物总结和自我评估框架是可扩展和适应临床应用的.
• 该框架解决了LLM输出中的幻觉和位置偏差等关键挑战.