对移植研究中的同行评审进行大型语言模型的评估:算法验证研究研究

科学领域:

• 医学研究 医学研究
• 科学中的人工智能.

背景情况:

• 同行评审对研究质量至关重要,但面临来自评审员疲劳和偏见的挑战.
• 越来越多的科学出版物需要探索人工智能解决方案,例如大型语言模型 (LLM),以支持同行评审.

研究的目的:

• 为了比较五个开源LLM在审查器官移植论文中的表现.
• 评估作者关系对LLM审查结果的影响.
• 检查不同快速工程策略 (零射击,少数射击,ToT,RAG) 对LLM审查决策的有效性.

主要方法:

• 通过使用五个LLM (Llama 3.3,Mistral 7B,Gemma 2,DeepSeek r1-distill Qwen,Qwen 2.5) 评估了200份移植论文.
• 在各种温度设置中测试了四种提示工程策略 (零射击,少射击,ToT,RAG).
• 对四分位数分类的LLM绩效进行评估,考虑作者归属 (有声望,不那么有声望,没有) 来检测偏见.

主要成果:

• 以0.5的温度进行检索增强生成 (RAG) 产生了最佳性能 (0.35准确匹配精度).
• 法律学士倾向于将论文分配到中间四分位数 (2和3),避免极端.
• 在模型中没有发现任何显著的归属偏差,尽管一些模型显示边际偏差 (Gemma 2,Qwen 2.5).
• 米斯特拉显示了最高的精度 (0.35) 与最低的计算成本.

结论:

• 目前的开源LLM没有足够的准确性来取代人类同行评审者.
• 虽然LLM通过减少归属偏见来显示公平的潜力,但它们的准确性限制需要人类监督.
• 米斯特拉提供了精度和效率的最佳平衡;RAG是一个有前途的提示策略.