マルチエキスパート深層学習フレームワークとLLMガイド付き仲裁によるマルチモーダル組織病理予測
Shyam Sundar Debsarkar1, V B Surya Prasath2
1Department of Computer Science, University of Cincinnati, OH 45221, USA.
まとめ
新しいAIフレームワークは、大規模言語モデル（LLM）を使用して、病理画像と臨床データの洞察を組み合わせ、がん診断の精度と解釈可能性を向上させます。このマルチエキスパート、LLM仲裁アプローチは、従来のメソッドよりも堅牢で説明可能な意思決定を提供します。
科学分野:
- デジタル病理学
- 医療における人工知能
- 計算病理学
背景:
- 深層学習は計算病理学の精度を向上させますが、従来のメソッドは適応性と解釈可能性が不足しています。
- 現在の人工知能（AI）エキスパートモデルは補完的なビューを提供しますが、単純な出力集計は不一致と透明性の問題に対処できません。
- AIの病理学への臨床統合は、モデルの適応性と意思決定の解釈可能性における課題によって妨げられています。
研究 の 目的:
- 計算病理学における診断決定を改善するために、大規模言語モデル（LLM）を仲裁者として使用する新しいマルチエキスパートフレームワークを開発すること。
- 多様なデータソースを統合することにより、臨床病理学の設定におけるAIモデルの適応性と解釈可能性を強化すること。
- LLMの推論能力を活用することにより、モデル間の不一致に対処し、透明で合理的な決定を提供すること。
主な方法:
- ビジョンベースのAI予測子と臨床特徴モデルを統合し、LLMを仲裁者として機能させるマルチエキスパートフレームワークを提案しました。
- 胃がん（HMU-GC-HE-30K）および乳がん（BCNB）の組織病理データセット（マルチモーダルデータを含む）でフレームワークを検証しました。
- さまざまなLLM（LLaMA、GPTバリアント、Mistral）をテストし、仲裁を改善するために学習されたエージェントごとの信頼を組み込みました。
主要な成果:
- マルチエキスパートLLM仲裁フレームワーク（MELLMA）は、標準的な畳み込みニューラルネットワーク（CNN）およびトランスフォーマーを分類タスクで上回りました。
- 提案されたフレームワークは、単一エージェントのCNN/ViTベースラインおよび従来のアンサンブルメソッド（多数決、平均、メタ学習者）と比較して優れたパフォーマンスを示しました。
- 学習されたエージェントごとの信頼により、プロンプトやデータを変更せずに仲裁者の決定が大幅に改善され、堅牢性と説明可能性が向上しました。
結論:
- LLMガイド付き仲裁は、個々のモデルまたは従来のアンサンブルよりも、計算病理学においてより堅牢で説明可能なパフォーマンスを提供します。
- 開発されたフレームワークは、デジタル病理学における透明で拡張性の高いAIシステムの作成に大きな可能性を示しています。
- LLMを仲裁者として統合することは、AI駆動型病理学における臨床意思決定支援の重要な進歩を表します。
