空间DINO:一个自我监督的3D视觉转换器,可以在拥挤的细胞环境中进行细分和跟踪

科学领域:

• * 计算生物学 * 计算生物学
• * 生物成像技术的使用
• * 机器学习用于显微镜

背景情况:

• *在3D光显微镜中分析复杂的细胞动力学受到物体识别,细分和在拥挤,低对比度环境中的跟踪方面的挑战的阻碍.
• * 经典的细分管道和监督的深度学习方法在数据变化方面存在困难,需要大量的手动注释,这些注释成本高且耗时.
• *现有的方法往往无法在不同的成像条件,物体形状和大小上进行概括,限制了在定量细胞分析中的更广泛应用.

研究的目的:

• * 推出SpatialDINO,一个全自动,自我监督的方法,用于在具有挑战性的3D显微镜数据集中进行强大的物体检测,细分和跟踪.
• *开发一个本地3D视觉转换器,可以学习密集的体积表示,而不需要voxel级别的注释.
• * 克服在异质,拥挤的细胞环境中现有的细分和跟踪方法的局限性.

主要方法:

• * SpatialDINO使用了经过修改的DINOv2架构,在未标记的3D光显微镜卷上训练了原生3D视觉变压器.
• *该方法直接从单通道,多通道和异构图像数据中学习语义特征图,以适应不同的z间距和成像模式.
• * 它采用自主监督的学习策略,消除了手动voxel级注释或重新训练新数据集的要求.

主要成果:

• *SpatialDINO在拥挤的细胞环境中成功地检测和分割各种大小和形状的物体,包括涂有克拉的坑,囊泡,内体和溶酶体.
• *该方法展示了概括能力,使得在MRI扫描中能够检测到以前未见的物体类别,如等离子体膜和核,甚至是瘤.
• * 空间DINO衍生特征与空间接近相结合,显著改善了4D时间序列数据中的内分体的跟踪,有效地处理封闭和外观变化.

结论:

• * SpatialDINO提供了一个强大的,自我监督的基础模型来分析3D光显微镜图像,显著降低了定量分析的障碍.
• * 这种方法使得复杂的3D/4D数据集在不同的显微镜模式中实现自动,准确的检测,细分和跟踪,无需重新训练.
• *通过直接从未标记的数据中学习密集的体积特征,SpatialDINO减少了对手工注释的依赖,并提高了在具有挑战性的蜂成像场景中的性能.