为血管患者提供人工智能生成的信息:评估ChatGPT人工智能语言模型提供的程序特定信息的标准
Omar Haidar1, Alexander Jaques1, Pierre W McCaughran1
1Vascular Surgery, Lister Hospital, Stevenage, GBR.
Cureus
|December 4, 2023
概括
人工智能 (AI) 产生的血管外科手术患者信息的可读性和质量差. 患者应该依靠来自可信来源的人为产生的资源来做出明智的决策.
科学领域:
- 血管外科 血管外科
- 医疗信息学 医疗信息学
- 人工智能的人工智能
背景情况:
- 越来越多地使用互联网获取健康信息.
- 越来越多的人工智能语言模型,如ChatGPT.
- 需要评估人工智能产生的面向患者的健康信息.
研究的目的:
- 对人工智能生成的血管手术患者信息进行定性分析.
- 评估ChatGPT响应的可读性和质量.
- 将AI信息与人类生成的患者传单进行比较.
主要方法:
- 对EVAR,EVLA和FPBP的信息进行了回顾性定性分析.
- 使用FKRE,FKGL,GFS和SMOG分数来评估可读性.
- 通过两个独立评估员使用DISCERN工具进行质量评估.
主要成果:
- 人工智能生成的信息显示可读性得分明显较差 (例如,FKRE 33.3与59.1).
- 对于人工智能内容所需的更高的教育等级 (例如,GFS 16.7 年与 12.8 年).
- 人类生成的传单的质量得分更高 (DISCERN 56.0与50.3).
结论:
- 人工智能生成的关于血管外科手术的信息目前在可读性和质量方面不足.
- 患者应指导他们使用可信的,由人类生成的信息来源.
- 补充AI信息与临床医生教育和可信的专业资源.
