在多选眼科问题库上对GPT-3.5和GPT-4.0进行比较分析:关于人工智能发展的研究

科学领域:

• 人工智能在医学中的应用
• 眼科教育教育 眼科教育

背景情况:

• 人工智能 (AI) 语言模型越来越多地用于各种领域.
• 在眼科等专业医疗领域评估AI性能至关重要.

研究的目的:

• 评估ChatGPT-4.0和ChatGPT-3.5在回答眼科多选题中的准确性.
• 为了比较GPT-4.0与GPT-3.5在医学问题库上的表现.

主要方法:

• 从OphthoQuestions中随机选择了520个眼科多选题.
• 无论是GPT-3.5还是GPT-4.0都被要求回答选定的问题.
• 绩效是根据所提供的答案的准确性来评估的.

主要成果:

• 聊天GPT-4.0正确回答了78.46%的问题,而聊天GPT-3.5回答了64.15%.
• 在统计学上,GPT-4.0比GPT-3.5显著改善 (p=0.0195).
• 在所有分析的眼科子专业中,GPT-4.0显示出卓越的性能.

结论:

• 与GPT-3.5相比,ChatGPT-4.0在眼科知识评估中表现出更高的准确性和一致性.
• 人工智能算法对医疗应用有希望,但需要进一步验证.
• 这些发现强调需要考虑人工智能对测试完整性的影响,并探索潜在的保护措施.