MedFactEvalおよびMedAgentBrief：事実に基づいた臨床要約の生成と評価のためのフレームワークとワークフロー

科学分野:

• 人工知能
• 医療情報学
• 臨床自然言語処理

背景:

• 臨床テキストにおける事実の正確性を評価することは、大規模言語モデル（LLM）の採用にとって重要です。
• 手動の専門家レビューは、LLMによって生成された臨床コンテンツの継続的な品質保証にはスケーラブルではありません。

研究 の 目的:

• LLMによって生成された臨床テキストの事実に基づいた評価のためのスケーラブルなフレームワークであるMedFactEvalを導入すること。
• 高品質で事実に基づいた臨床退院サマリーを生成するためのワークフローであるMedAgentBriefを提示すること。
• 人間の専門家のコンセンサスによって確立されたゴールドスタンダードに対してMedFactEvalフレームワークを検証すること。

主な方法:

• MedFactEvalは、臨床医が定義した主要な事実と評価のための「LLM陪審」（複数のLLMによる多数決）を利用します。
• MedAgentBriefは、退院サマリーを生成するためのモデルに依存しない、複数のステップからなるワークフローです。
• 入院症例の主要な事実に関する7人の医師による多数決によってゴールドスタンダードが作成されました。

主要な成果:

• MedFactEval LLM陪審は、人間の専門家パネルとほぼ完璧な一致を示しました（Cohenのκ = 81％）。
• LLM陪審のパフォーマンスは、単一の人間専門家（κ = 67％、P < 0.001）のパフォーマンスよりも統計的に劣らないものでした。

結論:

• MedFactEvalは、臨床LLM出力における事実の正確性を評価するための堅牢でスケーラブルなフレームワークを提供します。
• MedAgentBriefは、事実に基づいた臨床要約のための高性能な生成ワークフローを提供します。
• この組み合わせたアプローチは、臨床現場での生成AIの責任ある展開を促進します。