面具图像建模用于可泛化的器官细分在体积EMEM中的细分

科学领域:

• 细胞生物学 细胞生物学
• 计算生物学 计算生物学
• 图像分析 图像分析

背景情况:

• 在电子显微镜 (EM) 卷中精确的器官细分对于理解细胞架构至关重要.
• 对细分的深度学习方法需要广泛的注释,这些注释往往很少.
• 蒙面图像建模 (MIM) 预培训利用未标记的数据,但由于忽视的结构模式,它可能对EM无效.

研究的目的:

• 开发一个更有效的预训练策略,用于EM器官细分.
• 在没有丰富的注释的情况下,提高深度学习模型的可靠性和准确性.
• 引入OrgMIM,这是一个针对EM数据量身定制的新型双分支MIM框架.

主要方法:

• 提出了OrgMIM,这是一个双分支MIM框架,具有互补的掩盖策略.
• 一个分支使用静态结构先验和视觉基础模型来生成亲和图.
• 另一个分支采用动态重建反和自我指导来计算损失地图.
• 引入了跨行业的一致性规范化,以实现强大的表示学习.
• 构建了IsoOrg-1K,一个大规模的,以器官为中心的3DEM数据集用于预训练.

主要成果:

• 在三个公开的EM数据集上,OrgMIM表现出了卓越的性能.
• 与从头开始的训练相比,对OrgMIM进行IsoOrg-1K的预训练显著提高了细分精度 (mIoU为28.78%).
• 该框架有效地捕捉了亚细胞语义和有机体特定特征.

结论:

• OrgMIM为EM器官细分提供了一种高效和有效的预训练策略.
• 拟议的方法提高了深度学习模型的性能,特别是在低注释的场景.
• IsoOrg-1K数据集和OrgMIM框架推动了3D EM图像分析方面的研究.