评估在线人工智能生成的脚手术信息
Dominick Casciato1, Sara Mateen2, Steven Cooperman3
1Orlando VA Medical Center, Orlando, FL.
概括
开放AI聊天机器人提供足部和脚病理信息的可读性和可靠性不如FootCareMD®. 这项研究强调了需要评估人工智能产生的健康内容的准确性和质量.
科学领域:
- 整形外科手术 整形外科手术
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
背景情况:
- 在线健康信息的扩散已经从教育小册子演变为互联网,现在是人工智能 (AI).
- 开放AI聊天机器人提供了可访问的患者信息,但它们在特定医疗领域的质量,如脚手术仍然在很大程度上未经检查.
- 评估人工智能产生的医疗内容的可读性和可靠性对于患者安全和知情决策至关重要.
研究的目的:
- 将OpenAI ChatGPT生成的足手术信息的可读性和质量与FootCareMD®的信息进行比较.
- 评估两个平台的Flesch阅读易度得分 (FRES),Flesch-Kincaid等级水平 (FKGL),JAMA基准标准得分和DISCERN得分.
主要方法:
- 在OpenAI ChatGPT和FootCareMD®上查询了常见的脚病理.
- 使用弗莱什阅读易度得分 (FRES) 和弗莱什-金凯德等级水平 (FKGL) 评估可读性.
- 使用JAMA基准标准得分和DISCERN得分进行了定性分析.
主要成果:
- 与FootCareMD® (FRES: 55.18, FKGL: 9.60) 相比,ChatGPT的信息具有显著较低的FRES得分 (31.12) 和更高的FKGL得分 (13.79).
- 在JAMA基准测试中,ChatGPT得分为0分,而FootCareMD®得分为1.95,表明超级基准的遵守.
- 聊天GPT的DISCERN评分 (52.53) 低于FootCareMD®的 (66.93),表明信息不那么可靠和准确.
结论:
- 关于脚病理的AI辅助查询是以更高的等级级别编写的,并且显示出比FootCareMD®更低的可靠性和准确性.
- 人工智能技术的易用性需要仔细考虑提供用于诊断和治疗足疾病的信息的质量和性质.
- 人工智能产生的医疗信息需要进一步的研究和质量控制措施,以确保患者安全和有效的医疗保健.
