在术后护理中对人工智能虚拟助理和大型语言模型进行比较分析

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 患者教育 技术 技术

背景情况:

• 有效的术后护理在很大程度上依赖于患者的教育和随访,以改善结果和满意度.
• 人工智能虚拟助理 (AIVA) 和大型语言模型 (LLM) 利用自然语言处理 (NLP) 来解决患者的查询.
• 在医疗保健环境中,一般LLM提供的信息的准确性和适当性需要严格的评估.

研究的目的:

• 为了比较专门的AIVA (使用Google Dialogflow) 与一般的LLM (ChatGPT-4,Google BARD) 的疗效,以获取术后护理信息.
• 评估不同人工智能平台在临床环境中的准确性,知识差距和响应适当性.
• 确定定制的人工智能解决方案与一般的LLM对术后护理患者教育的适用性.

主要方法:

• 一项比较研究旨在评估手术后护理场景中的AI性能.
• 根据信息准确性,知识差距和响应适当性来评估AIVA,ChatGPT-4和谷歌BARD.
• 使用了定量指标 (准确度得分,知识差距值) 和定性评估 (适度的Likert得分).

主要成果:

• 与BARD和ChatGPT-4相比,AIVA的准确性明显更高 (平均值:0.9) 和知识差距较小 (平均值:0.1).
• 来自AIVA的答案获得了更高的利克特评分,表明更好的上下文相关性.
• 聊天GPT-4显示出可变的性能,特别是在口头互动的背景下,而BARD的性能相对较低.

结论:

• 像AIVA这样的专业人工智能工具在提供精确和上下文相关的术后护理信息方面比一般的LLM更有效.
• 定制的人工智能解决方案在医疗保健环境中至关重要,因为在患者安全和结果方面,准确性和清晰度至关重要.
• 对针对特定医疗环境的定制人工智能进行进一步的研究是必要的,以提高患者教育和改善医疗保健服务.