商業用マルチモーダルAIによる糖尿病網膜症スクリーニングの評価と代替規制経路への示唆

科学分野:

• 医療人工知能
• 眼科学
• ヘルスケアにおける機械学習

背景:

• 糖尿病眼検査のための自律型AIは検証されているが、十分に活用されていない。
• 市販の既製生成AIモデル（OTSAI）が、実世界での検証なしにテストされている。
• OTSAIは医療推論において有望であり、臨床使用への関心を促している。

研究 の 目的:

• 4つの主要なOTSAIの糖尿病眼検査における診断パフォーマンスを評価すること。
• OTSAIのパフォーマンスを人間の専門家のベンチマークおよび規制基準と比較すること。

主な方法:

• 4つのOTSAI（GPT-4o、GPT-4o-mini、Grok、Gemini）をMessidor-2データセットで評価した。
• パフォーマンス評価にはレベル3の参照基準を使用した。
• 受信者操作特性曲線下面積（AUC）を主要評価指標とした。

主要な成果:

• GPT-4oは最も高いAUC（0.83）を達成し、次いでGrok（0.63）であった。
• GeminiについてはAUCを計算できなかった。
• OTSAIのパフォーマンス（最高AUC 0.83）は、網膜専門医（推定AUC 0.94）やFDAの評価項目に匹敵しなかった。

結論:

• 現在のOTSAIは、糖尿病眼検査における臨床専門家のパフォーマンス基準を満たしていない。
• OTSAIの潜在的な規制経路は、補助的な役割のためのタスク固有のライセンス供与を含む可能性がある。
• 臨床AI展開には、医療機器および医師助手の規制と同様の、安全性と有効性のための厳格な検証が不可欠である。