聊天机器人和AAPOS网站的性能作为盲教育的工具

科学领域:

• 眼科医生 眼科 眼科
• 医疗保健中的人工智能
• 医学教育 医学教育

背景情况:

• 美国儿科眼科医生协会 (AAPOS) 网站提供有关眼的患者信息.
• 越来越多的人工智能聊天机器人的使用需要评估它们是否适合提供医疗信息.
• 评估人工智能产生的健康内容的质量对于患者教育至关重要.

研究的目的:

• 为了比较从AAPOS网站对抗ChatGPT-3.5,Bard和Bing聊天的双眼视信息的可理解性,可操作性和可读性.
• 评估聊天机器人关于眼的响应是否合适.

主要方法:

• 在ChatGPT-3.5,Bard和Bing聊天中提出了25个与眼相关的问题.
• 儿童眼科医生对答案的适当性进行了评估.
• 使用弗莱什阅读易度,弗莱什金凯德等级水平和科尔曼-利亚乌指数来测量可读性.
• 使用患者教育材料评估工具 (PEMAT) 评估了可理解性和可操作性.

主要成果:

• 聊天机器人响应的适当性很高:ChatGPT-3.5和Bard的84%,Bing聊天的80%.
• 与聊天机器人相比,AAPOS网站表现出更高的可理解性 (81.5%) 和可操作性 (74.6%) (Bard: 77.6%/69.2%,ChatGPT-3.5: 76.1%/67.8%,Bing聊天: 71.5%/64.8%).
• 可读性分析表明,Bard,AAPOS网站,Bing聊天和ChatGPT-3.5提供了比推患者教育更具挑战性的内容.

结论:

• 人工智能聊天机器人可以生成适当的眼信息,但AAPOS网站在可理解性和可操作性方面表现出色.
• 人工智能聊天机器人和AAPOS网站都提供了信息,这些信息往往太复杂了,无法有效地为患者提供关于眼的教育.
• 需要进一步开发以提高人工智能生成的医疗内容的可读性和患者友好性.