在回答病毒性肝炎问题时,ChatGPT和Gemini之间的表现比较

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 肝病学 肝病学是一种肝病学.

背景情况:

• 越来越多的人工智能聊天机器人的使用需要评估它们在医疗信息中的准确性.
• 病毒性肝炎的知识对公共卫生至关重要,但信息的可访问性和可靠性各不相同.
• 评估人工智能聊天机器人的病毒性肝炎性能对于安全有效的患者教育至关重要.

研究的目的:

• 评估ChatGPT和Gemini聊天机器人在提供病毒性肝炎信息方面的充分性和可靠性.
• 为了比较这些聊天机器人在不同类别的问题上的表现:公共问答,国际指南建议和社交媒体常见问题.
• 评估聊天机器人提供的答案之间的可靠性,可重复性和相关性.

主要方法:

• 关于病毒性肝炎的176个问题来自CDC的公共问答,国际指南和社交媒体.
• 来自ChatGPT和Gemini的答案由两位传染病专家独立评估,使用1到4的评分表.
• 统计分析包括科恩的卡帕对评审者之间的可靠性,相关性和可重现性评估.

主要成果:

• 聊天GPT和双子座的平均得分相似 (3.55对3.57),完全正确的反应率 (71.0%对78.4%).
• 聊天机器人在CDC (90.1%对91.9%) 和社交媒体问题 (82.5%对90%) 上表现良好,但在指南问题上 (49.4%对61.4%) 的准确性较低.
• 在聊天机器人答案之间发现了一个中等的正相关性 (r=0.633),具有很高的可重现性 (ChatGPT的91.3%,双子座的92%),以及大量的评审者间一致性 (分别是0.720和0.704).

结论:

• 在提供病毒性肝炎信息方面,ChatGPT和Gemini相似,在公共和社交媒体环境中表现出色.
• 聊天机器人在基于指导方针的问题上的准确性是不够的,这凸显了在这个领域需要改进的需要.
• 虽然可靠的一般信息,建议谨慎使用这些AI工具复杂或指南特定的医疗查询.