评估大型语言模型在回答白内障手术常见问题时的可靠性

科学领域:

• 眼科医生 眼科 眼科
• 人工智能的人工智能
• 医疗信息学 医疗信息学

背景情况:

• 白内障手术是一种常见的手术,但患者教育受到健康素养挑战的阻碍.
• 有效的患者教育对于明智的决策和白内障手术的术后护理至关重要.

研究的目的:

• 评估各种大型语言模型 (LLM) 在提供关于白内障手术常见问题 (FAQ) 的准确,完整和清晰答案方面的可靠性.
• 评估LLM作为眼科患者教育工具的潜力.

主要方法:

• 对9个不同的LLM提出了20个白内障手术常见问题.
• 专家眼科医生在5分尺度上对准确性,完整性和清晰度进行了180次评分.
• 进行了统计分析,包括评价者间协议和比较测试,以评估模型性能.

主要成果:

• 所有评估的LLM都在响应白内障手术常见问题时表现出有效性,79%的响应被评为"优秀".
• 虽然LLaMA 4和Copilot得分较低,但它们仍然提供了有效的FAQ答案.
• 证明LLM能够提供与患者查询相关的清晰,准确和完整的信息.

结论:

• 大型语言模型是回答患者常见问题的有效工具 关于白内障手术.
• 这些发现支持考虑将LLM扩展到临床环境,以加强患者教育.
• 在患者对手术程序的理解方面,LLM显示出弥合健康素养差距的巨大潜力.