卷积神经网络变压器 (CNNT) 用于光显微镜的图像与改进的概括和快速适应 denoising

科学领域:

• 显微镜和成像技术
• 科学中的人工智能.
• 生物医学工程 生物医学工程

背景情况:

• 深度神经网络 (DNN) 提供了改善光显微镜图像质量的潜力.
• 现有的基于卷积神经网络 (CNN) 的方法需要广泛的,特定于实验的模型培训,限制了实际应用和通用性.
• 在光显微镜中,需要更快,更具适应性的图像增强技术至关重要.

研究的目的:

• 引入一种新的卷积神经网络转换器 (CNNT) 模型,用于增强光显微镜图像消噪.
• 为了证明CNNT模型能够实现高质量的图像重建,并显著减少训练开销.
• 通过多种光显微镜技术验证CNNT模型的性能.

主要方法:

• 从即时结构化照明显微镜的高低信号对噪声比 (SNR) 图像体积上训练的可通用CNNT骨干模型的开发.
• 通过微调CNNT骨干在一个小数据集 (5-10图像对) 上以适应新的实验条件,实施快速适应策略.
• 对已建立的基于CNN的无声化模型进行比较分析,如3D-RCAN和Noise2Fast.

主要成果:

• 与现有的基于CNN的方法相比,CNNT模型表现出优越的图像染性能.
• 拟议的微调方案大大减少了新显微镜和实验的适应时间.
• 该方法在各种显微镜方式中显示出有效性,包括广场,双光子和共聚焦光显微镜.

结论:

• CNNT模型代表了对光显微镜图像增强的深度学习的重大进步.
• CNNT的骨干和微调策略为改善不同显微镜平台的图像质量提供了强大,高效和多功能解决方案.
• 这项工作有助于在生物成像研究中更广泛地采用先进的深度学习技术.