增强骨科知识评估:专门生成语言模型优化的性能

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用
• 整形外科知识管理知识管理

背景情况:

• 大型语言模型 (LLM) 在专业领域显示出潜力,但它们的一般性可能会限制临床准确性.
• 优化LLM与特定领域知识库的优化对于提高它们在医学中的实用性至关重要.

研究的目的:

• 评估和比较知识基础优化与非优化骨科LLM的有效性.
• 探索在专业医疗领域应用LLMs的优化策略.

主要方法:

• 使用AAOS指南和出版物创建了一个专门的骨科知识库.
• 对GPT-4,ChatGLM和Spark LLM的优化和未优化的版本提出了30个骨科问题.
• 三位骨科外科医生对答案的质量,准确性和全面性进行了评估.

主要成果:

• 知识库优化提高了GPT-4的质量 (15.3%),准确性 (12.5%) 和全面性 (12.8%).
• 聊天GLM显示了24.8% (质量),16.1% (准确性) 和19.6% (全面性) 的改进.
• 斯派克LLM显示了6.5% (质量),14.5% (准确性) 和24.7% (全面性) 的收益.

结论:

• 知识基础的优化显著提高了骨科LLM的表现.
• 这种方法提高了专业医疗应用的响应质量,准确性和全面性.
• 知识库优化是改善特定领域LLM绩效的有效策略.