mSTAR：病理スライド、レポート、遺伝子データを統合するマルチモーダル基盤モデル、視覚のみのアプローチを上回る

科学分野:

• 計算病理学
• 腫瘍学における人工知能
• デジタル病理学

背景:

• 計算病理学における基盤モデルは、マルチモーダルデータ（レポート、遺伝子発現）の統合や全スライドコンテキストのキャプチャにおいて課題に直面しています。
• 現在のモデルは、病理レポートや遺伝子発現プロファイルからの重要な洞察を無視して、視覚のみまたは画像キャプションデータを使用することがよくあります。
• 既存モデルにおけるパッチレベルの分析は、包括的な全スライドパターンのキャプチャを制限します。

研究 の 目的:

• 統一されたマルチモーダル統合のために設計された新しい病理学基盤モデルであるmSTAR（Multimodal Self-TAught PRetraining）を導入すること。
• 病理スライド、専門家作成のレポート、および遺伝子発現データを単一のフレームワーク内に組み込むこと。
• スライドレベルの分析とマルチモーダルデータの融合の両方を可能にすることにより、計算病理学を進歩させること。

主な方法:

• 病理スライド、専門家作成のレポート、および遺伝子発現データの3つのモダリティを統合する基盤モデルであるmSTARを開発しました。
• 32のがん種にわたる26,169のスライドレベルモダリティペア、および1億1600万以上のパッチ画像からなるデータセットを利用しました。
• パッチ表現にマルチモーダル全スライドコンテキストを注入し、スライドレベル分析を可能にするフレームワークを実装しました。

主要な成果:

• mSTARは、97のタスクからなる腫瘍学ベンチマークにおいて、以前の最先端モデルと比較して優れたパフォーマンスを示しました。
• このモデルは、分子予測およびマルチモーダルタスクで特に強みを示しました。
• 結果は、マルチモーダル統合が、視覚のみのデータセットを単純に拡張するよりも大きなパフォーマンス向上をもたらすことを示唆しています。

結論:

• mSTARは、マルチモーダルデータ（スライド、レポート、遺伝子発現）を効果的に統合し、計算病理学を強化します。
• このモデルは、パッチレベルからスライドレベルへ、そして単一モダリティから複数モダリティへと分析を進歩させます。
• マルチモーダル基盤モデルは、がんの診断と研究において重要な前進を表しています。