大型语言模型成本和性能:在日本放射学委员会考试的背景下进行全面分析

科学领域:

• 医疗教育中的人工智能
• 在放射学中使用自然语言处理.
• 机器学习用于董事会考试

背景情况:

• 日本放射学委员会考试 (JRBE) 评估放射科医生的基本知识.
• 在专业医疗检查中评估大语言模型 (LLM) 的有效性至关重要.
• 了解基于模型类型 (开源与封闭源) 和语言的LLM性能变化是关键.

研究的目的:

• 评估各种LLM在回答JRBE问题的有效性.
• 在JRBE上比较开源和封闭源LLM的性能.
• 在这种情况下,研究语言 (日语与英语翻译) 对LLM成绩的影响.

主要方法:

• 管理了315个JRBE问题 (2021-2023) 给14个LLM (7个开源,7个封闭源).
• 评估模型使用原始的日语问题和LLM翻译的英语版本.
• 使用Python分析了包括中位数,IQR,P值和相关系数在内的性能指标.

主要成果:

• 封闭源代码的LLM实现了比开源模型高50.2%的正确答案率 (44.28%对比29.52%,P<0.001).
• 将问题翻译成英语使得中位数提高了21.1% (33.02%至40.00%,P = 0.005).
• 较高的LLM成本与准确性正相关 (r = 0.613-0.623,P < 0.020);发布日期没有显著影响性能.

结论:

• 高端,封闭源代码的LLM在JRBE上表现出卓越的表现.
• 通过LLM的英语翻译问题提高了这些模型的准确性.
• LLM成本是表现的重要预测因素,而模型年龄不是.