评估失禁摘要:人工智能生成与柯克兰评论对比
Angelo Cadiente1, Catherine Implicito1, Abinav Udaiyar1
1From the Hackensack Meridian School of Medicine, Nutley, NJ.
Urogynecology (Philadelphia, Pa.)
|April 7, 2025
概括
科克伦评论的摘要比查特GPT的摘要更易于阅读,用于失禁研究. 然而,ChatGPT生成了更全面的,尽管更难以访问的摘要,突出了AI在医学文献合成方面的改进领域.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 科学沟通科学沟通
背景情况:
- 越来越多的医学文献需要高效的总结工具.
- 人工智能 (AI) 提供了创造简洁和可访问的医疗内容的潜力.
- 将人工智能生成的摘要与既定标准进行评估对于采用至关重要.
研究的目的:
- 为了比较AI生成的摘要 (ChatGPT) 与人类策划的摘要 (Cochrane Review) 的可读性和质量.
- 评估ChatGPT在总结复杂的医疗信息中的有效性.
主要方法:
- 来自Cochrane图书馆的73篇失禁摘要使用ChatGPT-3.5.5进行了总结.
- 摘要与现有的Cochrane简体文本摘要进行了比较.
- 使用多个指标 (Flesch Kincaid,枪雾等) 评估可读性. ) 的情况.
- 两个盲目审稿人以5分级评价总结的准确性和合规性.
主要成果:
- 科克兰摘要在多个指标上显示出明显更好的可读性.
- 聊天GPT总结实现了统计学上显著的更高的平均准确度 (4.25比4.05).
- 聊天GPT产生了比Cochrane普通文本摘要更全面的摘要.
结论:
- 科克伦简体文本摘要为 incontinence 文献提供了卓越的清晰度.
- 聊天GPT提供更全面的摘要,但需要进一步精细化,以提高读者可访问性.
- 人工智能对医学文献总结具有前景,需要进行持续的研究来优化其应用.


