基础指标用于评估由生成AI驱动的医疗保健对话的有效性

科学领域:

• 医疗保健技术 技术 医疗保健 技术
• 人工智能在医学中的应用
• 数字健康数字健康

背景情况:

• 生成型人工智能 (AI) 准备将医疗保健提供转变为个性化,高效和主动的患者护理.
• 预计对话式人工智能,特别是聊天机器人,将通过提供诊断和心理健康支持等服务来领导这种以患者为中心的转型.
• 目前对通用大型语言模型 (LLM) 的评估指标对于医疗保健是不够的,缺乏医疗背景和以用户为中心的考虑,如信任,道德和同情心.

研究的目的:

• 探索基于LLM的最新评估指标,适用于医疗保健中的交互式对话模型.
• 从最终用户的角度呈现医疗保健聊天机器人的综合评估指标.
• 讨论定义和实施这些指标的挑战,考虑诸如受众,方法和提示技术等因素.

主要方法:

• 审查和探索现有的基于LLM的评估指标.
• 开发了一套针对医疗保健聊天机器人的全新,全面的指标集.
• 对以用户为中心的方面,临床任务影响和对话效率的分析.

主要成果:

• 现有的通用LLM指标未能满足医疗保健应用程序的特定需求和复杂性.
• 一组拟议的指标评估了医疗保健聊天机器人的语言处理,临床任务影响和用户交互质量.
• 确定了指标实施的关键挑战,包括目标受众,评估方法和快速工程.

结论:

• 专门的评估指标对于评估医疗保健中人工智能聊天机器人的安全性和有效性至关重要.
• 以用户为中心的方法对于开发能够捕捉信任,同情和理解的指标至关重要.
• 需要进一步的研究来完善和有效地在现实世界的临床环境中实施这些指标.