ウェブスケール 2D&3D医療データを活用した放射線学の汎用的な基礎モデルへ

科学分野:

• 医療における人工知能
• 医学画像分析
• 基盤モデル

背景:

• 放射線学における人工知能の統合は急速に進んでいます
• 既存のモデルは多くの場合,様々な放射線学的作業に必要な包括的な機能が欠けている.
• 広範な多式医療データで訓練された 堅牢な基礎モデルが必要です

研究 の 目的:

• 放射線基礎モデル (RadFM) の開発を開始する.
• データセットの構築,モデル設計,評価を含む包括的な枠組みを確立する.
• 幅広い放射線応用のための 多様なAIツールを作成します

主な方法:

• 4つの新しいマルチモデルのデータセット (13Mの2D画像,615Kの3Dスキャン) と既存のデータを組み込む医療マルチモデルのデータセット (MedMD) の構築
• テキストと2D/3D医療スキャンを統合した新しいアーキテクチャの提案
• 自動と人間による評価を含む包括的な基礎モデル評価のための新しいベンチマークであるRadBenchの開発.

主要な成果:

• RadFMは,診断,視覚的な質問の回答,およびレポート生成を含む複数の放射線学的タスクで優れたパフォーマンスを示しました.
• このモデルは,GPT-4Vを含む既存のアクセシブルマルチモダルの基盤モデルを,さまざまなベンチマークで上回った.
• RadFMの公開基準への適応は,いくつかの最先端モデル (SOTA) を上回る結果となりました.

結論:

• RadFMは放射線学の基礎モデルの開発における重要な進歩を表しています.
• 提案されたアーキテクチャとMedMDのデータセットは,将来の研究開発のための強力な基盤を提供します.
• RadFMは,臨床放射線学の診断の正確性と効率性を向上させることを約束しています.