住居高齢者介護における非構造化された電子医療記録からの情報抽出のための大規模な言語モデルの包括的な評価

科学分野:

• 人工知能
• クリニカル・インフォマティック
• 自然言語処理

背景:

• 構造化されていない電子医療記録 (EHR) から情報を抽出することは,ドキュメントの多様性のために困難です.
• ゲネラティブ・ラッグ・ランゲージ・モデル (LLM) は,情報抽出 (IE) を自動化する可能性を秘めているが,住宅高齢者ケア (RAC) などの現実の臨床環境では限界に直面している.
• 既存の評価は,非構造化された臨床データにおける堅実性,公平性,偏見をしばしば無視しています.

研究 の 目的:

• オーストラリアのRACのフリーテキスト看護ノートから臨床IEの総合的な評価枠組みを開発する.
• 命名されたエンティティ認識 (NER) と要約タスクのための17のLLMを体系的に評価する.
• 精度,F1スコア,関連性,堅実性,公平性,バイアスを考慮してLLMのパフォーマンスを評価する.

主な方法:

• 検索拡張生成 (RAG) と少量学習 (ワンショットから5ショット) を使用して17のLLM (一般およびヘルスケア専用) を評価した.
• 2つの臨床IEのコアタスクに焦点を当てた:名付けられたエンティティ認識 (NER) とテキスト要約.
• 正確さ,F1,関連性,堅実性,公平性,バイアスを評価する新しい評価枠組みを適用しました.

主要な成果:

• LLaMA 3.1は,NERで高精度 (88.58%) とF1スコア (87.43%) を達成し,要約でF1 (88.18%) と関連性 (83.15%) を達成した.
• 堅実性は低い (NERは4.00%,要約は4.31%),公正性は優れた (99.9%) で,バイアスは最小でした (0.11%).
• 医療特有のLLMとRAGのアプローチは,一般的なモデルを上回りました.最適な数ショット設定は,NERの3ショットと,要約の5ショットでした.

結論:

• 臨床IEにおけるLLMの評価には,総合的な評価枠組みが不可欠です.
• LLMは,RACにおける臨床IEの可能性を示していますが,その強さはさらに強化する必要があります.
• この発見は,ジェネラティブAIを臨床的意思決定支援システムに安全に統合することを支持しています.