人工智能聊天机器人的有用性和准确性 响应神经外科手术患者的问题

科学领域:

• 神经外科 神经外科
• 人工智能的人工智能
• 医疗信息学 医疗信息学

背景情况:

• 互联网是健康信息的主要来源.
• 患者越来越多地在咨询提供者之前在网上寻找健康答案.
• 在医疗保健中评估像ChatGPT这样的AI工具至关重要.

研究的目的:

• 评估人工智能对常见的神经外科术后问题的反应的准确性和有用性.
• 评估ChatGPT在临床神经外科环境中的实施情况.
• 分析AI生成的患者信息的可理解性和可操作性.

主要方法:

• 使用ChatGPT-3.0,3.5和4.0生成了1080个响应,对60个常见的神经外科问题.
• 评估了使用从业者评分的响应准确性和帮助性.
• 通过患者教育材料评估工具评估可理解性和可操作性.
• 使用Flesch阅读方便和Raygor可读性估计进行了可读性分析.

主要成果:

• 平均准确度得分为4.165±0.567;平均帮助度得分为3.511±0.647.
• 人工智能反应显示出更高的可操作性而不是可理解性.
• 可读性分析表明语言复杂,平均15年级的阅读水平.

结论:

• 在神经外科手术中,人工智能聊天机器人的反应在事实上是准确的,但不是非常有益的.
• 感知到的帮助性和准确性显示了ChatGPT-3.0和3.5.0之间的小差异.
• 与之前的版本相比,ChatGPT-4.0的可理解性和可读性得到了改进.