开发和评估用于眼科的检索增强型大语言模型框架

科学领域:

• 人工智能在医学中的应用
• 眼科医生 眼科 眼科
• 自然语言处理自然语言处理.

背景情况:

• 通过知识库来增强大型语言模型 (LLM),可以提高医疗领域的性能.
• 对于医疗保健专业人员来说,需要对LLM进行实际的,对隐私有意识的本地实施.
• 现有的LLM可能无法满足眼科等专业医疗领域的特定需求.

研究的目的:

• 开发一个准确和具有成本效益的本地实施一个检索增强的LLM.
• 为了减轻与医疗保健环境中LLM部署相关的隐私问题.
• 提高医疗保健专业人员对LLM的可访问性和实用性.

主要方法:

• 开发了ChatZOC,一个检索增强的LLM框架,通过增强基础的LLM与全面的眼科数据集 (超过30,000个知识块).
• 使用300个临床眼科问题对比ChatZOC与10个代表的LLM,包括GPT-4和GPT-3.5Turbo,使用300个临床眼科问题.
• 评估了LLM在准确性,实用性和安全性方面的表现,使用医学专家和研究人员的双面罩方法.

主要成果:

• 检索增强的LLM实现了0.60的人类排名得分,显著改善了基线模型 (0.48) 和可与GPT-4 (0.61) 相比.
• 提取增强的LLM的科学共识准确率为84.0%,比基线 (46.5%) 增加了大量,与GPT-4 (79.2%) 相比.
• 该研究表明,由于知识库的增强,绩效指标在统计学上有显著的改善.

结论:

• 整合高质量的知识库可以显著提高专业医学领域的LLM绩效.
• 增强的LLM,像ChatZOC,通过提供可靠和安全的信息,为临床实践带来变革的潜力.
• 需要进一步的研究来探索这种增强的LLM框架在医疗保健中的现实应用和更广泛的整合.