材料科学中的大型语言模型:通过石墨烯合成来评估RAG评估框架
Zen Han Cho1, Matthew Osvaldo1, Sayan Doloi1
1School of Materials Science and Engineering, Nanyang Technological University 50 Nanyang Avenue 639798 Singapore leonard.ngwt@ntu.edu.sg.
RSC advances
|March 2, 2026
概括
在科学中评估回收增强生成 (RAG) 系统是很困难的. 与BERTScore或LLM-as-a-Judge不同,RAGAS显示出对评估科学RAG绩效的希望,但仍然存在局限性.
科学领域:
- 材料科学 材料科学 材料科学
- 石墨烯合成的合成方法
背景情况:
- 由于技术复杂性和精度需求,在专业的科学领域评估检索增强生成 (RAG) 系统具有挑战性.
- 现有的自动化评估框架可能无法充分捕捉RAG在科学环境中的表现.
研究的目的:
- 系统地分析和比较科学RAG系统的自动评估框架.
- 建立用于在专业研究领域评估人工智能的方法指南.
主要方法:
- 使用石墨烯合成作为案例研究,制定了一个全面的评估协议.
- 他们比较了四种评估方法:RAGAS,BERTScore,LLM-as-a-Judge和专家人类评估.
- 通过20个特定领域的问题来评估绩效.
主要成果:
- 在科学RAG评估中,BERTScore缺乏可解释性和评分敏感性.
- 作为法官的法学士没有捕捉到提取增强的好处.
- RAGAS成功地确定了从检索增强中获得的相对性能改善,特别是在较小的模型中,但在科学内容的绝对得分解释方面存在局限性.
结论:
- RAGAS展示了评估科学RAG系统的潜力,提供了对检索增强效益的见解.
- 自动化框架需要进一步开发,以准确评估AI在专业科学领域的性能.
- 这些发现为在科学中部署人工智能的研究人员提供了关键考虑.
