从RGB到超光谱:用于增强手术成像的光谱重建

科学领域:

• 医学成像医学成像
• 计算机视觉 计算机视觉 计算机视觉
• 频谱学是一种光谱学.

背景情况:

• 超光谱成像 (HSI) 提供了丰富的光谱信息,对外科指导至关重要.
• 在实时手术环境中获取HSI数据具有挑战性.
• 从RGB数据中重建超谱签名提供了一个潜在的解决方案.

研究的目的:

• 为了研究从RGB数据中重建超光谱签名以进行增强的外科成像.
• 评估不同深度学习架构的性能,包括CNN和变压器,用于此任务.
• 评估重建的光谱形状对外科决策的临床相关性.

主要方法:

• 使用了 HeiPorSPECTRAL 数据集 (猪手术) 和内部的神经外科数据集.
• 实施和评估各种卷积神经网络 (CNN) 和基于变压器的架构.
• 使用诸如根平均平方误差 (RMSE),光谱角度映射器 (SAM),峰值信号对噪声比 (PSNR),结构相似度指数 (SSIM) 和平均绝对误差 (MAE) 等指标评估性能.

主要成果:

• 变压器模型在RMSE,SAM,PSNR和SSIM指标中表现出卓越的性能.
• 变压器有效地集成空间信息,用于在可见和扩展范围的精确光谱谱预测.
• MAE强调了捕捉可见和扩展的超光谱范围的挑战.

结论:

• 变压器模型在外科应用中显示出高光谱重建的重大前景.
• 准确的光谱图谱预测可以支持知情的手术决策.
• 这项研究为临床外科环境中的实时超光谱成像开辟了新的途径.