珍しい病気のエンティティ認識と呼ばれるエンティティ認識のための大規模な言語モデルを活用する

科学分野:

• バイオメディカル自然言語処理
• 医療における人工知能

背景:

• 希少疾患における名付けられたエンティティ認識 (NER) は,限られたデータと意味論の曖昧さにより,困難です.
• 伝統的な監督モデルでは,まれな疾患のデータでよく見られるロングテイル分布に苦労しています.

研究 の 目的:

• 稀有疾患NERに対するGPT-4oの性能を低リソース条件下で評価する.
• ゼロショット,数ショット学習,RAG,微調整を含む様々なプロンプトベースの戦略を比較する.
• 意味学的に導かれたショートショット例の選択のための新しい方法を導入する.

主な方法:

• GPT-4oを使用し,ドメインの知識と曖昧さ回避のルールを組み込んだ構造化プロンプトを使用しました.
• 実施されたゼロショット,数ショット・イン・コンテキスト・ラーニング,リトリーバル・アグメンテッド・ジェネレーション (RAG),タスクレベルの微調整.
• 性能を最適化し,ラベリングの努力を減らすために2つの意味学的に導かれたショートショット例の選択技術を開発しました.

主要な成果:

• GPT-4oはRareDis CorpusでBioClinicalBERTと比較して競争力のあるまたは優れたパフォーマンスを達成しました.
• タスクレベルの微調整は,これまでの BioClinicalBERT ベースラインを上回り,最も強力な結果を示しました.
• Few-shotのプロンプトは,特に低いトークン予算では,優れたコストパフォーマンスを提供し,RAGは,徴候や症状のような特定のエンティティタイプのリコールを改善しました.

結論:

• 迅速に最適化された大型言語モデル (LLM) は,生物医学的なNER,特にデータ不足の希少疾患領域において,有効でスケーラブルなソリューションを提供します.
• GPT-4oは,まれな疾患NER.に対する従来の監督方法の実行可能な代替案です.
• エラー分析に関するさらなる研究は,より高い精度のためにポスト処理とハイブリッド精製戦略を導くことができます.