MedCalc-Bench:评估医疗计算的大型语言模型
Nikhil Khandekar1, Qiao Jin1, Guangzhi Xiong2
1National Library of Medicine, National Institutes of Health.
ArXiv
|October 1, 2025
概括
本研究介绍了MedCalc-Bench,这是一个用于评估医学计算中的大型语言模型 (LLM) 的新数据集. 目前的LLM在量化推理方面扎,突出了临床应用的差距.
科学领域:
- 人工智能在医学中的应用
- 自然语言处理自然语言处理.
- 临床决策支持 临床决策支持
背景情况:
- 目前在医学中评估大型语言模型 (LLM) 的基准主要评估领域知识和描述性推理,而不是定量技能.
- 医生经常依赖临床计算器,使用定量方程和基于规则的推理来支持基于证据的决策.
- 需要在医疗环境中评估LLM的计算和基于逻辑的推理能力.
研究的目的:
- 介绍MedCalc-Bench,这是一个新的数据集,旨在评估LLMs的医学计算能力.
- 评估当前LLM在定量医学推理任务上的表现.
- 确定与临床计算相关的LLM中的特定弱点.
主要方法:
- 开发MedCalc-Bench,一个数据集,包括来自55个不同的医疗计算任务的1000多个手动审查的实例.
- 每个案例都包括一个病人笔记,一个需要特定医疗价值计算的问题,一个基本真相答案,以及一个逐步解释.
- 使用MedCalc-Bench数据集对现有的LLM进行评估.
主要成果:
- 在医学计算方面,LLM显示出潜力,但尚未在临床上可行.
- 常见的错误包括错误的实体提取,错误使用方程或规则以及算术不准确.
- 在临床环境中LLM的定量知识和推理能力存在重大差距.
结论:
- MedCalc-Bench 作为一个重要的资源,用于对医学计算中的LLM绩效进行基准测试.
- 目前的LLM需要大幅改进才能可靠地执行临床计算.
- 未来的研究应该专注于增强LLM的定量推理,用于各种临床应用.
相关概念视频
Improving Translational Accuracy
3.5K
3.5K
Improving Translational Accuracy
14.1K
Base complementarity between the three base pairs of mRNA codon and the tRNA anticodon is not a failsafe mechanism. Inaccuracies can range from a single mismatch to no correct base pairing at all. The free energy difference between the correct and nearly correct base pairs can be as small as 3 kcal/ mol. With complementarity being the only proofreading step, the estimated error frequency would be one wrong amino acid in every 100 amino acids incorporated. However, error frequencies observed in...
14.1K
Mechanistic Models: Compartment Models in Algorithms for Numerical Problem Solving
290
Mechanistic models play a crucial role in algorithms for numerical problem-solving, particularly in nonlinear mixed effects modeling (NMEM). These models aim to minimize specific objective functions by evaluating various parameter estimates, leading to the development of systematic algorithms. In some cases, linearization techniques approximate the model using linear equations.
In individual population analyses, different algorithms are employed, such as Cauchy's method, which uses a...
In individual population analyses, different algorithms are employed, such as Cauchy's method, which uses a...
290


