在营养学家执照考试问题上,GPT-4o的性能与检索增强生成相结合

科学领域:

• 医疗保健中的人工智能
• 营养科学 营养科学
• 医学教育 医学教育

背景情况:

• 像GPT-4o这样的大型语言模型 (LLM) 提供了饮食咨询的潜力.
• 在饮食咨询中应用LLM的研究,特别是提取增强的变体,是有限的.
• 日本注册营养学家国家考试为评估AI在营养方面的表现提供了一个标准化的基准.

研究的目的:

• 评估GPT-4o,GPT-4o-mini和GPT-4o-RAG在回答日本注册营养学家国家考试问题上的表现.
• 评估提取增强生成对人工智能产生的答案在饮食咨询中的准确性,响应可变性和一致性的影响.
• 在特定领域的营养知识和临床应用中识别不同LLM变体的优缺点.

主要方法:

• 利用了2022-2024年日本注册营养师全国考试中的599个选择题.
• 为每个模型 (GPT-4o,GPT-4o-mini,GPT-4o-RAG) 每个问题生成五个答案,以评估强度.
• 实现了GPT-4o-RAG的自定义管道,以集成基于指南的文档检索与LLM响应.
• 评估了准确率,响应差异和一致性;对正确和不正确的答案进行了术语频率-反向文档频率 (TF-IDF) 分析.

主要成果:

• 所有模型都超过了60%的合格门. GPT-4o-RAG获得了最高的精度 (83.5% ± 0.3%),其次是GPT-4o (82.1% ± 1.0%) 和GPT-4o-mini (70.0% ± 1.4%).
• 与GPT-4o (91.2-95.2%) 和GPT-4o-mini.相比,GPT-4o-RAG显示出明显较低的变异性和更高的响应一致性 (97.3%).
• GPT-4o-RAG在应用和临床营养方面表现出色,但在数值问题上扎,TF-IDF分析将这些问题与错误答案中的数值条款联系在一起.

结论:

• GPT-4o-RAG增强了营养反应的一致性和特定领域的性能,这表明在临床饮食咨询中具有潜在的实用性.
• 尽管性能有所改善,GPT-4o-RAG在数值推理方面存在局限性,因此需要进一步开发全面的饮食指导.
• 该研究强调了在营养等专业领域提取增强的LLM的潜力,同时强调了持续验证和改进的必要性.