聊天GPT-4 Turbo和Meta的LLaMA 3.1:对回答放射学基于文本问题的相对分析

科学领域:

• 人工智能在医学中的应用
• 医疗教育 技术 技术 医学教育
• 放射学 信息学 信息学

背景情况:

• 人工智能 (AI) 模型正在越来越多地被探索它们在专业医疗领域的实用性.
• 评估大型语言模型 (LLM) 在回答特定领域问题的准确性,对于它们的安全和有效实施至关重要.
• 儿科放射学由于所需的专业知识,提出了一系列独特的挑战.

研究的目的:

• 为了比较OpenAI的GPT-4 Turbo和Meta的LLaMA 3.1在回答一套标准化的儿科放射学问题的准确性.
• 评估每个人工智能模型的整体性能和特定子节的准确性.

主要方法:

• 一组79个基于文本的儿科放射学问题从一个更大的数据集中整理出来.
• 问题涵盖了七个子部分,不包括基于图像的查询,以专注于文本解释.
• 无论是GPT-4 Turbo还是LLaMA 3.1,都在同一个问题上进行了独立评估,对整体和分段性能进行了准确计算.

主要成果:

• GPT-4 Turbo的整体精度达到了88.6%,明显超过LLaMA 3.1的77.2%.
• 在大多数子部分中,GPT-4 Turbo表现出更高的准确性,在胸部和心脏放射学方面得分很高.
• LLaMA 3.1的最高精度是在肌肉骨放射学 (86.7%),而最低的是在胸部放射学 (50.0%).

结论:

• 与LLaMA 3.1相比,GPT-4 Turbo在回答儿科放射学问题方面表现优越且一致.
• 这些发现表明GPT-4 Turbo在专业医疗教育环境中具有准确反应的潜力.
• 需要进一步的研究来探索AI模型在其他医疗领域的性能.