评估一个检索增强的怀孕聊天机器人:DIAN AI助理的可理解性-准确性-可读性研究

科学领域:

• 数字健康数字健康
• 医疗保健中的人工智能
• 患者教育 患者教育

背景情况:

• 患者教育材料 (PEMs) 往往在超过普通健康素养的水平上提供健康信息.
• 提取增强对话式人工智能 (RAG) 提供了一个潜在的解决方案,可以提供根据个人用户需求量身定制的交互式,基于证据的解释.

研究的目的:

• 为了评估 DIAN,一个 RAG 支持的怀孕聊天机器人,基于NHS怀孕书.
• 为了比较女性和临床医生在关键围产领域对可理解性,准确性和可读性 (CAR) 的看法.

主要方法:

• 对119名妇女和29名临床医生进行了横截面评估,使用标准化提示和盲目评分.
• 参与者使用4分利克特尺度对产后护理,怀孕健康,饮食和心理健康等方面对DIAN的反应进行了评分.
• 统计分析包括曼-惠特尼U测试,以比较组间的差异.

主要成果:

• 观察到的显著差异主要在产后护理方面.
• 与临床医生相比,女性认为理解性和准确性更高.
• 临床医生认为这种语言比女性更易于阅读.

结论:

• 迪安在妇女和临床医生之间展示了广泛可比的CAR感知,在产后护理方面有显著的分歧.
• 女性更高的感知可理解性和准确性表明需要有针对性的改进.
• 基于RAG的聊天机器人可以提高数字健康教育,当内容通过以利益相关者为中心的指标进行严格审查和评估时.