转网用于多焦微观生物医学图像融合.
Ronghao Pei1, Kang Yao1, Xiaobin Xu2
1School of Biomedical Engineering (Suzhou), Division of Life Science and Medicine, University of Science and Technology of China, Hefei 230026, China; Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Science, Suzhou 215163, China.
Computer methods and programs in biomedicine
|July 24, 2023
概括
本研究介绍了TransFusion-Net,这是一个用于多焦生物医学图像融合的变压器网络. 它通过利用交叉注意力和空间注意力机制来有效地提高图像清晰度,以获得高质量的融合结果.
科学领域:
- 生物医学成像技术 生物医学成像技术
- 计算机视觉 计算机视觉
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 显微镜成像经常受到有限的焦点深度 (DOF) 的影响,阻碍了图像的完整清晰度.
- 多焦生物医学图像融合 (MFBIF) 是一种克服DOF限制的技术.
- 现有的方法可能无法充分利用信息丰富性和视觉真实性.
研究的目的:
- 提出一个新的变压器网络,TransFusion-Net,用于多焦生物医学图像融合.
- 在高放大显微镜中提高图像清晰度和细节.
- 为了实现准确和视觉真实的融合图像.
主要方法:
- TransFusion-Net使用一个层间交叉注意模块来捕获非焦点源图像之间的远程依赖关系.
- 一个空间注意力提升采样网络 (SAU-Net) 模块被用于获取全球语义信息.
- 网络以端到端的方式处理多个输入图像,利用源图像之间的相关性.
主要成果:
- 在使用QAB/F,QMI,QAVG,QCB和PSNR等指标的定量评估中,TransFusion-Net的表现优于八种最先进的算法.
- 定性实验证明了接近零的残留物,验证了该方法的融合充分性.
- 拟议的方法始终为多焦生物医学显微镜图像产生高质量的融合结果.
结论:
- 结合联合交叉注意力和空间注意力机制的深层卷积神经网络可以实现准确和有效的多焦生物医学显微镜图像融合.
- 传输融合网提供了一种可靠的解决方案,可以在具有挑战性的显微镜成像场景中提高清晰度.
- 这种方法确保了融合图像的信息丰富性和视觉真实性.
