在生物医学数据科学中评估大型语言模型是通过课堂实验的挑战
Huifang Ma1, 1, Zhicheng Ji1
1Department of Biostatistics and Bioinformatics, Duke University School of Medicine, Durham, NC 27705.
概括
大型语言模型 (LLM) 显示了为数据科学挑战设计机器学习解决方案的潜力. 课堂实验显示,LLM可以实现竞争性表现,即使被非专家使用.
科学领域:
- 计算机科学 计算机科学
- 生物医学信息学 生物医学信息学
- 机器学习 机器学习
背景情况:
- 大型语言模型 (LLM) 展示了强大的算法设计能力.
- 在数据科学中,LLMs的实际有效性仍未得到充分探索.
研究的目的:
- 评估LLM在解决现实世界生物医学数据科学挑战方面的表现.
- 评估提示策略对LLM有效性的影响.
主要方法:
- 课堂实验涉及研究生使用Kaggle上的LLMs.
- 专注于表式数据预测任务.
- 比较LLM产生的解决方案与人类参与者.
主要成果:
- 在LLM提交的项目中,预测得分接近于领先的人类参与者.
- 渐变增强方法经常被LLM推,并且与更好的性能相关.
- 促使自我改进的策略被证明是最有效的,在多个LLM中得到验证.
- 在表格数据预测之外的任务上,LLM性能显著下降.
结论:
- 法律学具有产生竞争力机器学习解决方案的潜力.
- 对于数据科学任务来说,LLM可以是有价值的工具,即使对于非专业用户来说也是如此.
- 需要进一步的研究来优化对复杂的数据科学问题的LLM性能.


