医療テキスト要約の自動評価指標およびLLM-as-a-judgeアプローチによる評価：パイロットスタディ

科学分野:

• 医療情報学
• 医療における人工知能

背景:

• 電子健康記録（EHR）には重要な臨床データが含まれていますが、処理が困難です。
• 大規模言語モデル（LLM）は、医師を支援するためにEHRデータを要約する有望なソリューションを提供します。
• LLM要約ツールを臨床実践に統合するには、自動品質管理が不可欠です。

研究 の 目的:

• LLMによって生成された医療要約の自動品質管理の実現可能性と限界を評価すること。
• 専門家の関与なしに、自動評価指標とLLM-as-a-judgeアプローチを評価すること。

主な方法:

• 6つのオープンソースLLMが30のEHRテキストサンプルから要約を生成しました。
• 要約は、標準的な指標（BLEU、ROUGE、METEOR、BERTScore）とLLM-as-a-judgeを使用して評価されました。
• 評価基準には、関連性、網羅性、冗長性、一貫性、文法、専門用語、幻覚検出が含まれていました。
• 専門家による評価は、比較のために同じ基準を使用して実施されました。

主要な成果:

• LLMは医療データの要約において大きな可能性を示しています。
• 自動評価指標もLLM評価者も、事実誤認や意味的な歪み（幻覚）を確実に検出することはできませんでした。
• LLM要約の品質スコアと関連性に関する専門家の意見との間には、0.688のピアソン相関が観察されました。

結論:

• 医療要約の品質評価の完全自動化は、依然として大きな課題です。
• 今後の研究では、幻覚検出方法を優先し、医療テキスト用のより大きく専門化されたLLMを調査する必要があります。
• LLM-as-a-judgeアーキテクチャへの検索拡張生成（RAG）の統合は、さらなる調査に値します。