合成数据和胚胎显微镜图像的端到端3D实例细分使用3D Mask R-CNN

科学领域:

• 计算机视觉 计算机视觉
• 深度学习 (Deep Learning) 是一种深度学习.
• 生物医学图像分析

背景情况:

• 由于缺乏全球背景,二维 (2D) 深度学习方法难以处理3D数据.
• 在3D医疗和显微镜图像中的实例细分具有挑战性,需要精确识别和细分多个对象.

研究的目的:

• 适应Mask R-CNN架构以实现有效的3D实例细分.
• 为高效的3D数据处理开发定制的TensorFlow操作.
• 在合成和现实世界的生物数据上验证3D Mask R-CNN.

主要方法:

• 使用自定义的TensorFlow操作实现面具R-CNN的3D适应.
• 开发3D非最大压缩和3D裁剪和调整大小的操作.
• 在不同异构和噪声的合成数据以及胚胎细胞形态发生的现实世界3D显微镜数据上进行验证.

主要成果:

• 三维面具R-CNN在合成数据上取得了良好的结果,但对高噪音对象有所限制.
• 超越了现实世界的细胞实例细分数据上的最先进的方法,来自*Phallusia mammillata*胚胎.
• 证明了高回忆和精度得分,同时保持关键的细胞连接.

结论:

• 3D 面具 R-CNN 是有效的,例如细分在 3D 生物成像.
• 开源实现促进了可重现性,并推进了3D深度学习研究.
• 细胞连接的保存是定量生物研究的关键优势.