ファインチューニングを超えて：臨床固有の固有表現認識のための大規模言語モデルにおけるドメイン認識インコンテキスト学習の活用

科学分野:

• 自然言語処理
• 生物医学情報学
• 機械学習

背景:

• 臨床固有表現認識（NER）は、構造化されていない臨床テキストを整理するために不可欠です。
• 大規模言語モデル（LLM）は、インコンテキスト学習（ICL）によるパラメータフリー適応を提供しますが、エンコーダーベースのファインチューニングは、臨床NERのパフォーマンスにおいて従来リードしてきました。
• この研究は、現実的な条件下でICLとファインチューニングを体系的に比較し、それらの有効性を評価します。

研究 の 目的:

• ICLとエンコーダーベースのファインチューニングの臨床NERにおける体系的な比較を実施すること。
• ICLデモンストレーション選択の最適化がパフォーマンスに与える影響を評価すること。
• リソースが限られた臨床設定におけるICLの実現可能性を判断すること。

主な方法:

• 血液悪性腫瘍患者の2,113の注釈付き臨床ノートと400のMIMIC-IVノートを使用しました。
• LLaMA-3.3-70Bを使用して、指示、出力形式、デモンストレーション選択戦略を含むICL構成を最適化しました。
• ベースラインとしてRoBERTa-largeでエンコーダーファインチューニングを実行し、さまざまなシナリオ（ドメイン内、ドメイン間、機関間）でトークンレベルの分類についてすべてのモデルを評価しました。

主要な成果:

• 最適化されたデモンストレーション選択はICLパフォーマンスを大幅に向上させ、マクロF1を最大9.4ポイント増加させました。
• 中程度の設定では、ICLはRoBERTa-largeファインチューニングを上回り、より大きなサンプルプールでも競争力を維持しました。
• ICLは、パラメータ更新なしで優れたデータ効率を示し、機関間転移において実質的な改善を達成しましたが、最大のプールサイズではファインチューニングが優位でした。

結論:

• 最適化されたドメイン認識デモンストレーション選択により、オープンソースLLMベースのICLは、臨床NERにおいてエンコーダーファインチューニングに匹敵するかそれを上回ることができます。
• ICLの適応性と、再トレーニングなしでのデモンストレーションプールを通じた知識更新能力は、動的でリソースが限られたヘルスケア環境に有利です。
• これにより、ヘルスケアセクター内の臨床NLPタスクの継続的な改善が促進されます。