人工智能用于患者支持:评估回收增强生成,以回答术后鼻整形问题
Ariana Genovese1, Sahar Borna1, Cesar A Gomez-Cabello1
1Division of Plastic Surgery, Mayo Clinic, Jacksonville, FL, USA.
Aesthetic surgery journal
|March 15, 2025
概括
提取增强代 (RAG) 显示出人工智能在整形外科手术中的承诺,但在准确性和患者理解方面仍然存在挑战. 为了安全的临床使用这些AI模型,需要进一步改进.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 整形外科 整形外科 整形外科
背景情况:
- 医疗保健中的大型语言模型 (LLM) 由于不准确的信息而导致患者安全面临风险.
- 检索增强生成 (RAG) 通过精心策划的知识库来提高AI可靠性.
- 对于高需求的医疗专业,如整形外科,RAG特别有益.
研究的目的:
- 评估回收增强生成 (RAG) AI模型用于术后鼻整形患者查询.
- 评估安全性并确定RAG模型在临床应用中的改进领域.
主要方法:
- 四个RAG模型 (Gemini-1.0-Pro-002,Gemini-1.5-Flash-001,Gemini-1.5-Pro-001,PaLM 2) 进行了测试.这些模型包括:
- 模型使用权威的鼻整形文本回答了30个常见的患者问题.
- 通过使用既定指标和统计分析,对答案的准确性,全面性,可读性和可操作性进行了评估.
主要成果:
- 答案一般准确 (41.7%完全准确),但观察到一个显著的不响应率 (30.8%).
- 双子座-1.0-Pro-002显示出卓越的全面性,但可读性和可理解性低于患者教育标准.
- 在响应可操作性方面,PaLM 2的表现最低.
结论:
- 在鼻整形护理中RAG的应用表明了准确性的潜力,但在不响应和上下文理解方面面临限制.
- 应对这些挑战对于在不同医学领域安全有效地实施RAG至关重要.
- RAG模型可以通过减少医生工作量和提高患者参与度来潜在地改变患者护理.
