眼睛拉玛 (Eye-Llama) 是一个眼科领域内大型语言模型
Tania Haghighi1,2, Sina Gholami1, Jared Todd Sokol3
1Department of Electrical Engineering, University of North Carolina at Charlotte, Charlotte, NC, United States.
bioRxiv : the preprint server for biology
|May 15, 2024
概括
使用眼科数据训练专门的大型语言模型 (LLM),如眼睛拉玛,可以提高医疗问题答案的性能. 这些特定领域的LLM在与眼科相关的任务中比一般模型有显著的收益.
科学领域:
- 人工智能在医学中的应用
- 眼科 自然语言处理 眼科
- 医疗问题回答系统 医疗问题回答系统
背景情况:
- 大型语言模型 (LLM) 需要域内数据来提高专业领域的性能.
- 准确的问答系统对于临床决策和患者教育至关重要.
研究的目的:
- 开发和评估专门针对眼科数据集培训的LLM,以改善医疗质量保证.
- 为模型培训引入一个开源的眼科语言数据集.
主要方法:
- 预先训练有素的LLM (EYE-Llama) 在一个精心策划的眼科科普 (摘要,教科书,EyeWiki,维基百科).
- 使用多种不同的质量保证数据集进行微调模型.
- 通过使用四个测试集,比较了EYE-Llama与Llama 2,ChatDoctor和ChatGPT (GPT3.5).
- 眼科医生对模型进行了定量 (准确性,F1分数,BERTScore) 和定性评估.
主要成果:
- 在AAO测试组中,Eye-Llama在AAO测试组中获得了与ChatGPT相似的F1分数,表现优于Llama 2和ChatDoctor.
- 微调模型在MedMCQA数据集上显示了比Llama 2和ChatDoctor更高的准确性.
- 与Llama 2,ChatGPT和ChatDoctor相比,EYE-Llama在PubmedQA数据集上表现出更高的准确性.
结论:
- 在特定领域的数据上进行预培训和微调的LLM显著提高了医疗质量保证能力.
- 眼睛拉玛模型证明了眼科专业LLM的有效性.
- 开发的眼科数据集和模型为推进眼科护理人工智能提供了宝贵的资源.
