在瘤外科手术中,混合CNN转换器demozaicing用于生物启发的单芯片彩色近红外光成像

科学领域:

• 医学成像医学成像
• 计算机视觉 计算机视觉 计算机视觉
• 人工智能的人工智能是人工智能.

背景情况:

• 单芯片多谱成像传感器为癌症手术提供了先进的可视化,但其空间分辨率降低.
• 这种限制阻碍了最佳的手术内指导.

研究的目的:

• 开发和验证一个增强六色成像传感器空间分辨率和图像质量的demozaicing算法.
• 为了改善手术期间的手术内癌症可视化.

主要方法:

• 一个混合卷积神经网络 (CNN) - 变压器拆解模型被开发和训练在彩色图像数据集上.
• 该模型在彩色和近红外 (NIR) 图像上进行了严格的评估.

主要成果:

• 与传统方法相比,CNN-变压器方法实现了平均平方误差 (MSE) 和结构差异的显著减少.
• 在临床前数据集中观察到,色彩MSE平均减少约85%,NIR图像减少约76%.
• 该方法的性能大大超过了现有的基于CNN的算法,特别是在重建临床数据集中的高频细节方面.

结论:

• 在CNN-变压器demozaicing方法有效地增加了空间分辨率的两倍,并提高了多光谱成像的图像保真度.
• 这种方法提供了一种实用,实时的解决方案,用于使用六色成像传感器增强手术内癌症可视化.