SpatialDINO：混雑した細胞環境におけるセグメンテーションと追跡を可能にする自己教師あり3DビジョンTransformer

科学分野:

• 計算生物学
• バイオイメージング
• 顕微鏡のための機械学習

背景:

• 3D蛍光顕微鏡における複雑な細胞ダイナミクスの分析は、混雑した低コントラスト環境における物体識別、セグメンテーション、追跡の課題によって妨げられています。
• 古典的なセグメンテーションパイプラインと教師あり深層学習手法は、データ変動に対処するのに苦労し、コストと時間がかかる広範な手動アノテーションが必要です。
• 既存の手法は、異なるイメージング条件、物体形状、サイズにわたって一般化できないことが多く、定量的な細胞分析における広範な適用を制限しています。

研究 の 目的:

• 困難な3D顕微鏡データセットにおける堅牢な物体検出、セグメンテーション、追跡のための完全に自動化された自己教師あり手法であるSpatialDINOを導入すること。
• ボクセルレベルのアノテーションを必要とせずに、密な体積表現を学習するネイティブ3DビジョンTransformerを開発すること。
• 不均一で混雑した細胞環境における既存のセグメンテーションおよび追跡手法の限界を克服すること。

主な方法:

• SpatialDINOは、変更されたDINOv2アーキテクチャを利用し、ラベルなし3D蛍光顕微鏡ボリュームでネイティブ3DビジョンTransformerをトレーニングします。
• この手法は、単一チャネル、マルチチャネル、および異方性画像データから直接意味的特徴マップを学習し、異なるz間隔とイメージングモダリティに対応します。
• 手動のボクセルレベルアノテーションや新しいデータセットの再トレーニングの必要性を排除する自己教師あり学習戦略を採用しています。

主要な成果:

• SpatialDINOは、混雑した細胞環境において、クラウス被覆ピット、小胞、エンドソーム、リソソームを含む、多様なサイズと形状の物体の検出とセグメンテーションに成功しました。
• この手法は、これまで未知の細胞膜や核などの物体クラス、さらにはMRIスキャンにおける腫瘍さえも検出可能にする汎化能力を示しました。
• SpatialDINO由来の特徴は、空間的近接性と組み合わせることで、4D時系列データにおけるエンドソームの追跡を大幅に改善し、オクルージョンや外観の変化に効果的に対処します。

結論:

• SpatialDINOは、3D蛍光顕微鏡画像の解析のための強力な自己教師あり基盤モデルを提供し、定量分析への障壁を大幅に低減します。
• このアプローチは、再トレーニングなしで、異なる顕微鏡モダリティにわたる複雑な異方性3D/4Dデータセットにおける自動的で正確な検出、セグメンテーション、追跡を可能にします。
• ラベルなしデータから直接密な体積特徴を学習することにより、SpatialDINOは手動アノテーションへの依存を減らし、困難な細胞イメージングシナリオにおけるパフォーマンスを向上させます。