TGIAlign：医療用画像と言語におけるクロスモーダル意味アラインメントのためのテキストガイド型デュアルブランチ双方向フレームワーク

科学分野:

• 人工知能
• 医用画像処理
• 自然言語処理

背景:

• 医療用画像とテキストのアラインメントは、微妙なパターンと意味のばらつきのため困難です。
• 現在の方法では、診断セマンティクスによる視覚的特徴の条件付けが不十分です。
• これは、詳細な異常検出とデータセット全体での安定したアラインメントを妨げます。

研究 の 目的:

• 医療用画像とテキストのアラインメントを改善するための新しいフレームワークを開発すること。
• テキストガイダンスを使用して胸部X線画像の理解を深めること。
• 安定した正確な病変局在化と検索を可能にすること。

主な方法:

• テキストガイド型デュアルブランチ双方向アラインメントフレームワークであるTGIAlignを提案しました。
• 病変記述抽出のために大規模言語モデル（LLM）を利用しました。
• マルチスケール意味条件付けのために、テキストガイド型画像特徴重み付け（TGIF）とデュアルブランチ双方向アラインメント（DBBA）を実装しました。

主要な成果:

• TGIAlignは、6つのデータセット全体で安定したトップK検索パフォーマンスを示しました。
• 信頼性の高いテキストガイド型病変局在化を実現しました。
• 早期意味条件付けとデュアルブランチアラインメントの効果を示しました。

結論:

• 病変中心の手がかりによる早期意味条件付けは、医療用画像と言語の対応を大幅に改善します。
• TGIAlignは、胸部X線分析とアラインメントのための堅牢なソリューションを提供します。
• 提案されたフレームワークは、詳細な異常を捉え、アラインメントを維持する能力を向上させます。