大型语言模型作为医疗代码选择器:使用国际初级保健分类的基准
Vinicius Anjos de Almeida1, Vinicius de Camargo2, Raquel Gómez-Bravo3
1Medical School, University of São Paulo, Av. Dr. Arnaldo, 455, São Paulo, São Paulo, 01246-903, Brazil.
大型语言模型 (LLM) 显示了自动化医疗编码的巨大潜力,特别是分配国际初级保健分类第2版 (ICPC-2) 代码. 高效的LLM取得了高准确度,证明了有效的医疗数据管理的有希望的途径.
科学领域:
- 医疗信息学 医疗信息学
- 人工智能在医学中的应用
- 自然语言处理自然语言处理.
背景情况:
- 医疗编码对于医疗数据管理,研究和政策至关重要.
- 自动化代码的分配,如国际初级保健分类,第二版 (ICPC-2) 可以提高效率.
- 大型语言模型 (LLM) 为医疗保健中复杂的自然语言理解任务提供了新的可能性.
研究的目的:
- 评估各种LLM在自动分配ICPC-2代码方面的潜力.
- 使用特定领域搜索引擎的输出来评估LLM的性能.
- 为了对医学编码任务的LLM能力进行基准测试.
主要方法:
- 使用了437个巴西葡萄牙语临床表达式与ICPC-2代码的数据集.
- 一个语义搜索引擎从一个大型概念数据库中检索了候选代码.
- 33个LLM被要求从检索结果中选择最好的ICPC-2代码.
- 性能通过F1得分,代币使用,成本,响应时间和格式遵守来衡量.
主要成果:
- 28名LLM获得F1得分大于0.8,其中10个超过0.85.
- GPT-4.5-预览版,o3和Gemini-2.5-pro是表现最好的一些.
- 搜索器优化将性能提高了多达4个F1分数点.
- 大多数模型都产生了有效的代码,减少了幻觉,并遵守了预期的格式.
- 较小的模型 (<3B参数) 面临格式化和输入长度方面的挑战.
结论:
- 在不需要微调的情况下,LLM显示了自动化ICPC-2编码的巨大潜力.
- 这项研究提供了一个基准,并确定了基于LLM的医学编码的挑战.
- 为了临床验证,需要进一步研究更广泛的,多语言和端到端的评估.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
07:50A Metadata Extraction Approach for Clinical Case Reports to Enable Advanced Understanding of Biomedical Concepts
Published on: September 20, 2018
相关概念视频
Classification of Illness
An illness is a response to a disease in which the person's level of functioning is changed compared with a previous level. The general classification of illness includes acute and chronic.
Acute illness is severe...
Methods of Documentation VI: Case Management Model
For example, a patient with a chronic...
Models of Health Promotion and Illness Prevention II
The agent-host-environment model states that disease results...
Models of Health Promotion and Illness Prevention I
The health belief model (HBM) attempts to predict health-related behavior in specific belief patterns. According to the HBM, a person's...
Secondary Healthcare System
Nursing Interventions II: Selecting and Classifying the Nursing Interventions
