SynthEHR-eviction: LLM拡張合成EHRデータによる立ち退きSDoH検出の強化

科学分野:

• ヘルスインフォマティクス
• 自然言語処理
• 健康の社会的決定要因

背景:

• 立ち退きは、住宅不安、失業、精神的健康問題に関連する、健康の重要な社会的決定要因（SDoH）です。
• 立ち退きに関する情報は、電子カルテ（EHR）において構造化されていないことが多く、研究や臨床実践での利用を妨げています。
• 臨床記録からのSDoH抽出のための既存の方法は、特に低リソースのシナリオでは限られています。

研究 の 目的:

• 臨床記録から立ち退きに関連するSDoHを抽出するためのスケーラブルなパイプラインであるSynthEHR-Evictionを紹介すること。
• 14の細かいカテゴリを持つ、立ち退きに関連するSDoHの大規模で公開可能なデータセットを作成すること。
• このデータセットにおけるファインチューニングされた大規模言語モデル（LLM）のパフォーマンスを評価し、既存のモデルと比較すること。

主な方法:

• ヒューマン・イン・ザ・ループ注釈、自動プロンプト最適化（APO）、および推論拡張ファインチューニングを統合したパイプラインであるSynthEHR-Evictionを開発しました。
• 臨床記録からの立ち退きに関連するSDoHの公開データセットを作成しました。
• Qwen2.5、LLaMA3などのLLMをSynthEHR-Evictionデータセットでファインチューニングし、マクロF1スコアを使用してパフォーマンスを評価しました。
• ファインチューニングされたLLMとGPT-4o-APO、GPT-4o-mini-APO、およびBioBERTを比較しました。

主要な成果:

• ファインチューニングされたLLMは高いパフォーマンスを達成しました：立ち退きについては88.8％のマクロF1、その他のSDoHについては90.3％です。
• SynthEHR-Evictionは、SDoH抽出においてGPT-4o-APO、GPT-4o-mini-APO、およびBioBERTを上回りました。
• このパイプラインは、注釈作業を80％以上削減し、データセット作成を加速しました。
• さまざまなモデルサイズにわたって費用対効果の高い展開を実現しました。

結論:

• SynthEHR-Evictionは、臨床記録からの立ち退きに関連するSDoHのスケーラブルで正確な検出を可能にします。
• 開発されたデータセットとファインチューニングされたLLMは、SDoHの研究とヘルスケアへの応用を進歩させます。
• このパイプラインは、他の情報抽出タスクへの一般化可能性を示し、リソース要件を削減します。