使用LLM来解释动脉血液气体:在三臂试验中,比较一个新的数学抓取板与不同的提示方法

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用
• 临床决策支持系统 临床决策支持系统

背景情况:

• 大型语言模型 (LLM) 在医疗保健方面表现有前途,但在精确的计算方面存在困难,限制了它们在临床决策支持系统 (CDSS) 中的使用.
• 精确解释动脉血液气体 (ABG) 需要复杂的计算,这对目前的LLM能力构成挑战.
• 现有的医学数据分析的LLM方法往往缺乏关键诊断任务所需的计算精度.

研究的目的:

• 评估一种新的方法,将一个定制的数学抓取板与LLMs集成在一起,以提高动脉血气 (ABG) 解释.
• 为了比较不同LLM提示策略的诊断准确度,包括零射击,检索增强生成 (RAG) 和使用数学抓取板的综合方法.
• 解决LLM在CDSS环境中执行域特定计算方面的局限性.

主要方法:

• 开发并实施了一个新的数学抓取板,集成到基于LLM的CDSS中.
• 对比了三种解释方法:零射击提示,使用RAG的提示工程,以及结合数学抓取板,RAG和提示工程的混合方法.
• 在50个动脉血液气体 (ABG) 结果的数据集上评估了方法.

主要成果:

• 在LLM集成的CDSS中,使用新的数学抓取板 (方法3) 实现了86% (43/50) 的准确性,其中95%的置信区间为74%-93%.
• 方法2 (RAG和快速工程) 的结果是78%的准确性 (39/50) [CI 65%-87%].
• 第1方法 (零射击提示) 的准确性显著降低,为48% (24/50) [CI 35%-61%].

结论:

• 数学抓取板的集成有效地克服了在ABG解释中LLMs的计算限制.
• 新的混合方法显著提高了基于LLM的CDSS的精度,用于复杂的临床数据分析.
• 建议与真实世界患者的ABG数据进行进一步验证,以确认这种方法的临床效用.