从连续的SEM图像中学习大脑结构的异质表示,使用面具自编码器
Ao Cheng1,2, Jiahao Shi2, Lirong Wang1,2
1School of Electronic and Information Engineering, Soochow University, Suzhou, China.
Frontiers in neuroinformatics
|June 26, 2023
概括
蒙面自动编码器 (MAE) 通过实现对串行扫描电子显微镜图像的自我预训练来改善大脑连接体重建的深度学习,从而减少了对大量手动注释的需求.
科学领域:
- 神经科学是一个神经科学.
- 计算机科学 计算机科学
- 生物信息学是一种生物信息学.
背景情况:
- 对大规模串行扫描电子显微镜 (SEM) 图像进行准确的注释是昂贵且耗时的,这对基于深度学习的脑地图重建构成了重大挑战.
- 神经连接组研究中的深度学习模型的性能与高质量的标记数据的可用性直接相关.
研究的目的:
- 为了研究一个使用掩盖自动编码器 (MAE) 进行序列SEM图像的自我预训练范式,以增强下游细分任务.
- 评估MAE预训练对改善3D脑图像中神经结构的表示学习的有效性.
主要方法:
- 采用掩盖自编码器 (MAE) 方法在3D脑图像补丁中随机掩盖语音.
- 训练了一个自编码器,从掩盖的补丁中重建神经元结构,使自我预训练成为可能.
- 在三个不同的串行SEM数据集上评估了不同的预培训和微调策略.
主要成果:
- 确定了一个最佳的掩盖比率,以有效地进行3D细分任务的预训练.
- 证明MAE预培训显著超过了从头开始的传统监督学习.
- 展示了MAE框架能够有效地学习异质神经结构的表征的能力.
结论:
- 该MAE自我预训练策略提供了一种强大的方法,用于处理神经连接组研究中的串行SEM图像.
- 这种方法显著减少了对大量手动注释的依赖,促进了更有效的脑图重建.
- 拟议的框架提供了一个统一的方法来学习来自不同神经结构特征的表示.
