CeRTS:大きな言語モデルでの確実性検索トークン検索 臨床情報抽出
Lars E Schimmelpfennig1, Kriti Bhattarai2, Inez Y Oh1
1Institute for Informatics, Data Science & Biostatistics, Washington University School of Medicine, St. Louis, MO, United States.
確実性回収トークン検索 (CeRTS) は,臨床データ抽出のための大規模な言語モデル (LLM) の不確実性推定を改善します. この新しい方法は,抽出された情報に対してより信頼性の高いスコアを提供し,医療におけるLLMの有効性を高めています.
科学分野:
- 人工知能
- 自然言語処理
- 臨床情報学
背景:
- 大規模言語モデル (LLM) は,特に電子医療記録から情報を抽出する際に,臨床応用のための堅固な不確実性推定を必要とします.
- 既存のトークンレベルの不確実性評価器は,単一の出力シーケンス内の確率のみを考慮するので,制限されています.
研究 の 目的:
- LLMを使用して構造化された情報抽出のための新しい不確実性推定器であるCertainty Retrieval Token Search (CeRTS) を開発および評価する.
- JSONの出力構造の制約を活用して,すべての確率配列とその確率を考慮して,より正確なモデルの信頼性を測定します.
主な方法:
- CeRTSは8つのオープンソースのLLMで,ゴールドスタンダード不確実性評価器と比較して評価されました.
- 臨床的特徴は肺がんの退院報告から抽出した.
- 性能は,校正 (ブリアスコア) と差別 (AUROC) を用いて定量化されました.
主要な成果:
- CeRTSは,評価されたすべてのLLMにおいて,以前の推定器と比較して優れた差別力を示した.
- CeRTSはほとんどのケースでよりよい校正を達成し,信頼性の向上を示しました.
- モデルの信頼性と精度との間の最も強い一致は,Qwen-2.5モデルで観察されました.
結論:
- CeRTSは,臨床テキストからLLMベースの情報抽出に適度な信頼性スコアを提供し,研究者に定量的な信頼性を提供します.
- CeRTSは一般的に強固であるが,DeepSeek-R1モデルでは,思考の連鎖による推論によって困難に直面した.
- CeRTS方法は,臨床データを超えて信頼性の高い不確実性の推定を必要とするあらゆる領域に適用できます.
さらに関連する動画
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
07:50A Metadata Extraction Approach for Clinical Case Reports to Enable Advanced Understanding of Biomedical Concepts
Published on: September 20, 2018
関連する概念動画
Clinical Trials
There are four phases in a clinical trial. A phase one...
Improving Translational Accuracy
Clinical Trials: Overview
Uncertainty: Confidence Intervals
ER Retrieval Pathway
The ER uses many checkpoints to prevent the entry of incorrectly folded or a resident protein as cargo onto a transport vesicle. These mechanisms...
Retrieval
Recall involves accessing information without cues, such as during an essay test, where individuals must retrieve facts and concepts from memory unaided. Another example is remembering the name of a colleague...
