内視鏡ENT手術支援におけるマルチタスクパフォーマンスを向上させる深層ビジョン言語モデルの使用

科学分野:

• 医療人工知能;コンピュータビジョン;自然言語処理

背景:

• 内視鏡支援のための現在の深層学習モデルは、主に画像ベースのタスクを使用しています。自然言語処理の統合は限られており、包括的な支援能力を妨げています。

研究 の 目的:

• 内視鏡ENT手術におけるマルチタスク学習のためのビジョン言語モデル（VLM）を開発および評価すること。VLMは、画像分類、テキスト予測、および手術レポート生成を実行することを目的としています。

主な方法:

• 画像とテキストの埋め込みのためのドメインバイアスエンコーダーを備えたVLMアーキテクチャが採用されました。このモデルは、30件の内視鏡手術（130,000枚の画像、レポート）からの新しいマルチタスクデータセットでトレーニングされました。2つのVLMバリエーションを、ベースライン、EndoVit、およびSurgicalGPTモデルと比較して、精度、再現率、F1スコア、BLEU-2、ROUGE-L、およびコサイン類似度を使用して評価しました。

主要な成果:

• VLMは、画像分類のF1スコアを最大12％、テキスト生成を最大14％向上させました。ドメイン固有のVLMは、EndoVitおよびSurgicalGPTをわずかに上回りました。アブレーションスタディにより、視覚コンポーネントが言語タスクに役立つことが示され、テキストはランドマーク検出にほとんど影響を与えませんでした。

結論:

• 画像とテキストデータを統合した、内視鏡ENT支援のための新しいVLMが開発されました。VLMは3つの独立したモデルを置き換え、マルチタスク支援を提供し、以前の汎用ベースラインを上回りました。今後の作業では、不均衡なクラス分布に対処し、構造化テキスト生成を改善する必要があります。