使用人工智能驱动的大型语言模型对患者投诉进行分类:横截面研究
Sky Wei Chee Koh1,2, Eunice Rui Ning Wong2,3, John Chong Min Tan4
1Division of Family Medicine, Department of Medicine, Yong Loo Lin School of Medicine, National University of Singapore, NUHS Tower Block Level 9, 1E Kent Ridge Road, Singapore, 119228, Singapore, 65 67163185.
Journal of medical Internet research
|August 6, 2025
概括
人工智能 (AI) 在使用医疗保健投诉分析工具 (HCAT) 通用实践 (GP) 分类学对患者投诉进行分类方面表现有希望. 像GPT-4o mini和Claude 3.5这样的高级大型语言模型 (LLM) 提供了提高患者安全和医疗保健质量的潜力.
科学领域:
- 医疗保健服务研究 医疗服务研究
- 医疗保健中的人工智能
- 患者安全 患者安全
背景情况:
- 患者投诉提供了对医疗保健系统性能和患者安全风险的关键见解.
- 手动分析患者投诉在后勤上具有挑战性,限制了提取有价值的数据.
- 由患者反驱动的系统变化可以显著提高整体患者安全.
研究的目的:
- 用HCAT GP分类法来评估人工智能驱动的患者投诉分类的准确性.
- 评估先进的LLM在初级保健机构中对患者投诉进行分类的实用性.
- 从患者反数据中确定关键主题和改进领域.
主要方法:
- 分析了来自新加坡公共初级保健诊所的1816份匿名患者投诉.
- 投诉是由受过训练的编码员使用HCAT GP分类学手动编码的.
- 使用LLM (GPT-3.5轮,GPT-4o迷你,克劳德3.5索内特) 来进行分类验证和主题分析.
主要成果:
- 大多数投诉涉及管理和机构流程,主要是中度严重的.
- 在HCAT GP领域分类中,LLM的准确性中等至良好 (58.4%-95.5%).
- 在几个分类任务中,GPT-4o mini和Claude 3.5在几项分类任务中表现出了比GPT-3.5轮机更好的性能.
- 主要投诉主题包括长时间等待,员工态度和预约问题.
结论:
- 在初级保健中,LLM显示了使用HCAT GP分类法对患者投诉进行分类的巨大潜力.
- 进一步微调模型是必要的,以提高AI在投诉分析的准确性.
- 整合人工智能可以支持主动识别系统性问题,提高质量改善和患者安全.
