LLMを用いた眼表面疾患診断のためのマルチモーダル診断パイプライン：Insight

科学分野:

• 眼科学・視光学
• 医用人工知能
• 医療診断

背景:

• 眼表面疾患の正確な診断は極めて重要であるが、人間の評価の不正確さや現在のAIモデルの限界によって課題となっている。
• 既存の機械ベースの手法は、しばしば閉鎖的な分類を使用し、診断を制限し、臨床変数の推論を欠いている。
• 精密な診断のためには、マイボーム腺撮影画像や臨床メタデータなどの多様なデータを統合することが鍵となる。

研究 の 目的:

• 眼表面疾患診断のための革新的なマルチモーダル診断パイプライン（MDPipe）を開発すること。
• 大規模言語モデル（LLM）を活用して、診断精度と臨床的推論を向上させること。
• 従来の診断アプローチおよび現在のAI診断アプローチの限界を克服すること。

主な方法:

• マイボーム腺画像の解釈と臨床メタデータをLLMを用いて統合するパイプラインMDPipeを開発した。
• マイボーム腺画像を定量化可能な形態データに変換するビジュアル翻訳者を採用した。
• 統合されたデータを文脈化し、臨床レポートの要約を生成するためにLLMベースのサマライザーを利用し、臨床医の入力を得て改良した。

主要な成果:

• MDPipeは、GPT-4を含む既存の標準と比較して、多様な眼表面疾患診断ベンチマークにおいて優れた性能を示した。
• このパイプラインは、視覚データと臨床データを統合し、微妙な診断的洞察を提供した。
• MDPipeは、その診断を支持する臨床的に妥当な根拠を提供した。

結論:

• MDPipeは、眼表面疾患のAI支援診断において重要な進歩を表す。
• マルチモーダルアプローチは、画像、メタデータ、LLM推論を効果的に組み合わせて診断結果を向上させる。
• このパイプラインは、複雑な眼疾患の診断に対して、より包括的で解釈可能なアプローチを提供する。