评估聊天GPT-4o对患者关于角质问题的答案的准确性和可读性
Ali Safa Balci1, Semih Çakmak2
1Department of Ophthalmology,Sehit Prof. Dr. Ilhan Varank Sancaktepe Training and Research Hospital, Sehit Prof. Dr. Ilhan Varank Sancaktepe Training and Research Hospita University of Health Sciences, Istanbul, Türkiye.
Ophthalmic epidemiology
|March 28, 2025
概括
聊天GPT-4o提供了准确的答案,对角患者的问题,但其复杂的语言可能会阻碍理解. 人工智能医疗内容可读性需要进一步改进.
科学领域:
- 眼科医生 眼科 眼科
- 人工智能的人工智能
- 医疗信息学 医疗信息学
背景情况:
- 患者教育对于管理至关重要.
- 像ChatGPT-4o这样的大型语言模型 (LLM) 越来越多地用于健康信息.
- 评估眼科LLM答案的准确性和可读性是必不可少的.
研究的目的:
- 评估ChatGPT-4o对以患者为中心的角质结核问题的答案的准确性.
- 为了评估人工智能生成的角信息的可读性.
- 为了比较不同类型问题的准确性和可读性.
主要方法:
- 聊天GPT-4o回答了30个以患者为中心的角质问题.
- 两个眼科医生对答案的准确性进行了评分 (1-5).
- 使用SMOG,FKGL和FRE分数评估可读性.
主要成果:
- 平均准确度得分为4.48 ± 0.57 (强大的评分器间可靠性).
- 可读性得分表明所需的教育水平很高 (SMOG: 15.49,FKGL: 14.95,FRE: 27.41).
- 根据问题类型的准确性没有差异,但治疗问题是最易读的.
结论:
- 聊天GPT-4o提供高度准确的角质信息.
- 目前人工智能产生的医疗内容可能无法为公众提供.
- 提高医学信息的LLM可读性是未来发展的一个关键领域.
