放射線レポート生成におけるビジョン・言語モデルの臨床的評価フレームワーク：エラー分類とリスク認識型指標
Hao Guan1,2, Peter C Hou1,2, Pengyu Hong3
1Brigham and Women's Hospital, Boston, MA.
AMIA ... Annual Symposium proceedings. AMIA Symposium
|February 23, 2026
まとめ
本研究は、AI生成の放射線レポートを評価するための新しいフレームワークを導入し、臨床リスクに焦点を当てています。ビジョン・言語モデル（VLM）における一般的なエラーを明らかにし、医療画像におけるAIの安全性を向上させます。
科学分野:
- 医療画像AI
- 自然言語処理
- 臨床情報学
背景:
- ビジョン・言語モデル（VLM）は、自動放射線レポート生成に有望です。
- 放射線におけるVLMの現在の評価指標は、臨床的特異性が欠如しており、不十分です。
- 既存の方法は、一般的なNLPメトリクスまたは広範な臨床スコアに依存しており、重大な安全性のニュアンスを見逃しています。
研究 の 目的:
- VLMによって生成された放射線レポートの臨床的に情報に基づいた評価フレームワークを開発すること。
- 臨床リスクレベルに関連付けられた放射線特有のエラー分類を確立すること。
- AI生成レポートの安全性への影響を定量化するための新しいリスク認識型指標を導入すること。
主な方法:
- 医師が割り当てた臨床リスクレベル（低、中、高）で注釈付けされた12種類の放射線エラー分類を定義しました。
- 685のMIMIC-CXRケースを使用して、3つのVLM（DeepSeek VL2、CXR-LLaVA、CheXagent）のエラー分析を実施しました。
- Clinical Risk-weighted Error Score for Text-generation（CREST）指標を導入しました。
主要な成果:
- 評価されたVLMにおける重大な脆弱性と一般的なエラーパターンを特定しました。
- AI生成レポートエラーに関連する病状別リスクプロファイルを明らかにしました。
- テストされたモデル間で、パフォーマンスと安全性への影響に有意な差があることを示しました。
結論:
- 提案されたフレームワークは、医療レポート生成モデルを評価するための安全性中心の基盤を提供します。
- 調査結果は、放射線科におけるより信頼性が高く臨床的に安全なAIツールの開発に実行可能な洞察を提供します。
- CREST指標は、VLMによって生成されたレポートの安全性リスクを定量的に評価することを可能にします。
