在Reddit上比较ChatGPT和医生对子宫内膜异位症问题的答案:一个盲人专家的评估
Clémence Beaulieu1, Aubert Agostini2, Patrice Crochet3
1Department of Gynecology and Obstetrics, AP-HM, Assistance Publique-Hôpitaux de Marseille, Marseille, France.
International journal of medical informatics
|July 6, 2025
概括
对子宫内膜异位症问题的聊天GPT答案在清晰度和同情心方面被评为高于Reddit上的医生答案. 然而,AI和医生的答案都具有潜在的危险内容,突出了需要在医疗保健中谨慎使用AI的必要性.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 患者教育 患者教育
背景情况:
- 像Reddit这样的在线健康论坛提供了可访问的信息,但质量不同.
- 评估人工智能产生的健康信息的可靠性对于患者安全至关重要.
研究的目的:
- 为了比较ChatGPT响应的质量,安全性和相关性与Reddit上验证的医生对子宫内膜异位症的查询.
- 评估专家医生对人工智能产生的医疗建议的看法.
主要方法:
- 使用了来自Reddit的r/AskDocs的30个子宫内膜异位问题.
- 聊天GPT (GPT-3.5) 和经过验证的医生提供了回应.
- 三名医生盲目评估了对准确性,安全性,清晰性和同理心的反应.
主要成果:
- 聊天GPT响应在医学连贯性,清晰性和同理心方面获得了显著更高的评分 (p < 0.001).
- 专家们在63.3%的案例中更喜欢聊天GPT响应.
- 在26.7%的ChatGPT答案和60.0%的医生答案中,发现了潜在的危险反应.
结论:
- 与Reddit医生相比,ChatGPT在清晰度,同情心和遵守建议方面表现优越.
- 该研究强调了人工智能在健康信息中的潜力,但强调由于安全问题需要谨慎和监督.
