コンパクトな視覚言語モデルは,層特有の多式学習を通じて,効率的で解釈可能な自動化されたOCT分析を可能にします

科学分野:

• 眼科について
• 人工知能
• 医療用イメージング

背景:

• 網膜疾患のための光学一致性トモグラフィ (OCT) Bスキャンを解釈するには,視覚データを医療知識と組み合わせるAIが必要です.
• 既存のAIモデルは,OCT画像の特徴を臨床ナラティブに正確に翻訳するのに苦労しています.

研究 の 目的:

• OCTのBスキャン通訳用に設計された,新しいコンパクトな視覚言語モデル (VLM) を導入する.
• 網膜の状態の自由形式の要約生成と複数のクラス疾患の分類を強化する.

主な方法:

• 6つの条件の専門家によって検証された要約を備えた4万件ものOCT Bスキャンのマルチモダルのデータセットを策定しました.
• エンコーダーとデコーダーに解剖学的な指針を組み込んだ247MパラメータVLMを開発した.
• ベンチマークされたLO-VLMとRetinaVLM,LLaVA-Med,そしてViTモデル.

主要な成果:

• LO-VLMの記述は,RetinaVLM (5.5/10) に比べて,網膜の専門家から著しく高いスコア (8.5/10) を獲得しました.
• 優れた量的な指標を達成しました: 0.803のSBERT類似度と0.715のBERTScore F1.
• 疾患分類では96%の精度を達成し,ViTを13%上回り,医療用VLMを62%以上上回りました.

結論:

• LO-VLMは,OCTの分析において,効率的で解釈可能なAIの新しいパラダイムを提供します.
• このモデルは,臨床報告の生成と網膜疾患の分類の両方で優れたパフォーマンスを示しています.
• LO-VLMは,OCTの解釈において,計算効率と高い精度を両立させています.