时间聚焦多光子显微镜与跨模态多阶段3D U-Net进行快速清晰的生物成像
Yvonne Yuling Hu1, Chia-Wei Hsu2, Yu-Hao Tseng2
1Department of Photonics, National Cheng Kung University, Tainan 701, Taiwan.
Biomedical optics express
|June 21, 2023
概括
这项研究引入了一种新的神经网络方法,用于通过时间聚焦多光子激发显微镜 (TFMPEM) 增强深层组织成像. 该方法通过减少散射效应显著提高图像质量,使生物结构的可视化更清晰.
科学领域:
- 生物医学光学 生物医学光学
- 显微镜的使用方法
- 计算机成像成像技术
背景情况:
- 时间聚焦多光子激发显微镜 (TFMPEM) 提供快速的宽场生物组织成像与光学切割.
- 广场照明中的散射效应严重降低了成像性能,特别是在深层组织层中,导致信号交叉声和低信号噪声比.
研究的目的:
- 开发基于跨模式学习的神经网络,用于TFMPEM中的图像注册和恢复.
- 通过减轻散射引起的工件来提高TFMPEM图像的质量,特别是在深层成像中.
主要方法:
- 使用无监督的U-Net模型与VoxelMorph注册相结合,将点扫描多光子激发显微镜图像与TFMPEM图像对齐.
- 用一个具有跨阶段特征融合和自我监督注意力的多阶段3D U-Net来推断体外TFMPEM体积图像.
- 转移学习是通过在体外数据上预训练3D U-Net并通过一个小的体外数据集进行微调来利用的.
主要成果:
- 拟议的方法显著改善了TFMPEM图像 (10毫秒曝光) 的结构相似度指数 (SSIMs) 从0.38到0.93 (浅) 和0.80 (深).
- 转移学习增强了TFMPEM的in-vivo图像 (1毫秒曝光),实现了0.97 (浅) 和0.94 (深) 的SSIM.
结论:
- 基于跨模式学习的神经网络有效地记录和恢复TFMPEM图像,克服散射限制.
- 开发的方法在体外和体外深层组织成像方面都表现出强大的性能,为先进的生物可视化铺平了道路.
