规模效率:研究在临床任务中微小语言模型的性能

科学领域:

• 人工智能的人工智能
• 临床信息学 临床信息学
• 机器学习 机器学习

背景情况:

• 大型语言模型 (LLM) 最初专注于概括性,导致越来越大的模型.
• 转向缩小规模和专业化的转变出现了,需要参数高效微调 (PEFT) 方法.
• PEFT方法旨在在没有完整的微调的情况下适应大型模型,从而实现专门的应用.

研究的目的:

• 调查各种PEFT方法对临床决策任务的适用性.
• 为了评估不同模型大小的PEFT性能,包括非常小的模型 (25M参数).
• 分析特定领域预训练对PEFT在临床环境中的有效性的影响.

主要方法:

• 对临床决策数据集的不同PEFT技术进行比较分析.
• 测试各种模型尺寸,从极小到更大的基础模型.
• 对LoRA (低级调整) 与其他PEFT方法的评估和完整的微调.

主要成果:

• 大多数PEFT方法显示了特定任务的性能变化.
• 在所有模型大小和任务中,LoRA始终保持高性能,通常与完整的微调相匹配.
• 针对特定领域的预培训对于较小的模型至关重要,提高了PEFT的效率.

结论:

• 对于临床决策来说,PEFT方法非常有效,特别是在创建专门模型时.
• 与大型基础LLMs相比,使用PEFT的专业化,较小的模型提供了更好的速度和成本效益.
• 优化PEFT,模型大小和域预训练为临床AI提供了最佳的效率-性能权衡.