人工智能眼中的败血症:对ChatGPT和Gemini进行比较评估
1Bolu Abant Izzet Baysal University, Faculty of Medicine, Department of Infectious Diseases and Clinical Microbiology, Bolu, Turkey.
Infectious diseases now
|December 11, 2025
概括
双子 2.5 Flash提供比ChatGPT 4o更准确和更一致的败血症信息,证明了其在数字健康素养方面的潜力. 在将大型语言模型 (LLM) 集成到健康平台之前,严格的基准测试至关重要.
科学领域:
- 医疗保健中的人工智能
- 数字健康素养 数字健康素养
- 医疗信息的准确性 医疗信息的准确性
背景情况:
- 越来越多地使用大型语言模型 (LLM) 进行在线健康信息搜索.
- 对LLM准确性和一致性的理解有限,特别是在毒症等关键条件下.
- 需要评估LLM以获得可靠的面向公众的健康沟通.
研究的目的:
- 比较ChatGPT 4o和Gemini 2.5 Flash对于与败血症相关的查询的有效性.
- 评估LLM对败血症反应的准确性和一致性.
- 评估LLMs在提高有关败血症的数字健康素养方面的潜力.
主要方法:
- 横截面基准测试研究设计.
- 常见问题和生存败血症运动 (SSC) 准则中的标准化败血症问题.
- 使用全球质量评分 (GQS) 和可重复性测试对LLM响应进行独立评估.
主要成果:
- 双子 2.5 Flash 在整体质量 (94% GQS 5 vs 35.4%) 和可重现性 (97.5% vs 76.5%) 方面明显优于ChatGPT 4o.
- 两种模型都显示了"预防"领域的弱点.
- 双子号显示出精确和一致的败血症信息传递的优越潜力.
结论:
- 在集成到数字健康平台之前,对LLM进行严格的基准测试至关重要.
- 为了提高公共卫生沟通的可靠性,LLM需要改进.
- 双子座对改善与败血症相关的数字健康素养充满希望.
