通过基准和知识可变助理,推进基于中文对话的患者指导

科学领域:

• 医疗保健中的人工智能
• 自然语言处理自然语言处理.
• 临床信息学 临床信息学

背景情况:

• 中国基于对话的患者指导 (CCPG) 使用自然语言将患者引导到适当的医院部门.
• 尽管大型语言模型 (LLM) 取得了进展,但CCPG缺乏专门的基准,并且仍未得到充分探索.
• 现有的LLM在实际CCPG应用中表现不足.

研究的目的:

• 开发第一个全面的基准,PG-Bench,用于评估CCPG系统.
• 引入一个新的框架,知识可变助理 (KEA),以提高CCPG的LLM性能.
• 建立一个严格的基础和基准,为未来的研究对话驱动的患者指导.

主要方法:

• 开发了PG-Bench,包括五个子集,19,814个注释对话和98个临床部门.
• 在PG-Bench上评估了25个代表性的LLM,包括最先进的模型.
• 引入了知识可变助理 (KEA) 框架,用经验和反思银行以及外部知识库来增强LLM.
• 利用检索增强生成用于KEA内部的代知识演变.

主要成果:

• 在所有评估的LLM中,PG-Bench的表现均不佳,未能满足实际要求.
• 在PG-Bench上测试的所有LLM中,KEA持续且显著地提高了CCPG的表现.
• 尽管有所改善,但目前的性能水平仍然远远低于临床预期,这凸显了CCPG的复杂性.

结论:

• PG-Bench是推动CCPG研究的重要资源.
• KEA框架提供了一种可行的方法来增强CCPG的LLM能力.
• 进一步的研究对于弥合当前人工智能能力与患者指导中的临床要求之间的差距至关重要.