AtlasGPT:一种基于神经外科的语言模型,具有特定领域的数据和文档检索

科学领域:

• 人工智能在医学中的应用
• 神经外科知识管理知识管理
• 大型语言模型 (LLM)

背景情况:

• 一般的大型语言模型 (LLM) 在医学考试中显示出潜力,但缺乏子专业专业知识和稳定性.
• 评估LLM在神经外科等专业医疗领域的表现对于安全有效的应用至关重要.
• 需要进一步研究LLM能够产生准确的解释和抵御对抗性攻击的能力.

研究的目的:

• 介绍AtlasGPT,一个专注于神经外科的LLM子专业.
• 评估AtlasGPT在神经外科问题库和对抗条件下的表现.
• 评估由AtlasGPT生成的解释的质量.

主要方法:

• AtlasGPT是使用GPT-4微调和从神经外科数据提取增强生成开发的.
• 与GPT-4和Gemini Advanced在149个问题的神经外科考试中的性能比较.
• 对抗性测试用于评估对错误信息的稳定性,由15名神经外科医生评价的解释.

主要成果:

• 在神经外科问题上,AtlasGPT获得了96%的准确性,在神经外科问题上超过了Gemini Advanced (93%) 和GPT-4 (88%).
• 在对抗性测试中,阿特拉斯GPT只有14%的时间被错误信息误导,明显优于GPT-4 (44%) 和Gemini Advanced (68%).
• 神经外科专家评价AtlasGPT的解释在全面性,相关性和引用方面优越,没有发现有害内容.

结论:

• 像AtlasGPT这样专注于子专业的LLM可以在准确性和稳定性方面超过一般模型.
• 阿特拉斯GPT展示了改善医学知识,临床决策和神经外科教育资源的潜力.
• 特定领域的LLM为推进复杂的医学领域提供了一个有希望的途径.