周術期合併症検出のためのプライバシー保護可能な展開型大規模言語モデルの強化：LoRAファインチューニングによる標的戦略

科学分野:

• 医療における人工知能
• 臨床自然言語処理
• ヘルスケアインフォマティクス

背景:

• 周術期合併症は世界的な健康上の大きな課題であり、手動検出方法ではかなりの過少報告（27％）と誤分類率を示しています。
• 臨床大規模言語モデル（LLM）の展開は、データプライバシーの懸念、高い計算コスト、およびローカル展開可能なモデルの最適ではないパフォーマンスによって妨げられています。

研究 の 目的:

• 周術期合併症検出と重症度評価のための小規模オープンソースLLMの診断能力を強化するための、標的プロンプトエンジニアリングと低ランク適応（LoRA）ファインチューニングを使用したフレームワークを開発および検証すること。
• 最適化されたLLMのパフォーマンスを人間の専門家と比較して評価し、臨床文書の複雑さの変動に対する堅牢性を評価すること。

主な方法:

• 22の異なる周術期合併症の重症度を同時に特定および評価するために、二重中心検証フレームワークが確立されました。
• 連鎖思考プロンプティングを含む標的プロンプトエンジニアリングとLoRAファインチューニングが、小規模なオープンソースLLMに適用されました。
• パフォーマンスは、文書の長さの異なる四分位数全体でF1スコアを使用して評価され、AIモデルと人間の専門家の間で比較されました。

主要な成果:

• 最適化されたLLM、特に4Bおよび8Bパラメータモデルは、周術期合併症の特定と評価において専門家レベルの精度を示し、8Bモデルは人間の専門家のパフォーマンス（F1 > 0.70）を上回りました。
• 標的戦略はモデルのパフォーマンスを大幅に向上させ（4BモデルでΔF1=0.256）、LoRA（4BモデルでΔF1=0.103）によるさらなる改善により、外部検証で4BモデルのマイクロF1を0.64に引き上げました。
• AIモデルは文書の複雑さに対する優れた堅牢性を示し、高いF1スコア（F1 > 0.64）を維持しましたが、人間の専門家のパフォーマンスは大幅に低下しました（0.73から0.45へ）。

結論:

• 標的プロンプトエンジニアリングとLoRAファインチューニングの組み合わせは、小規模なオープンソースLLMを周術期合併症の高性能臨床診断ツールに効果的に変革します。
• これらの最適化された小規模モデルは、リソースが限られた医療設定に実用的なソリューションを提供し、ローカル展開とデータ主権の維持による専門家レベルの精度を可能にします。
• この研究は、合併症検出と管理における重要な課題に対処し、臨床現場でのAIを活用するための実行可能な経路を強調しています。