多模式融合与高光谱图像和RGB信息,用于全光学信息的虚拟染色

科学领域:

• 计算病理学计算病理学
• 数字成像技术的数字成像.
• 生物医学光学 生物医学光学

背景情况:

• 传统的组织化学染色对于瘤识别和预后至关重要,但速度缓慢,劳动密集.
• 当前方法的低效率可能会推迟关键的治疗决策.
• 在病理学中需要更快,更准确,更轻松的诊断工具.

研究的目的:

• 为实时数字病理学扫描开发一种深入学习的全光学染色框架.
• 为了消除在组织学幻灯片制备中使用化学试剂的需要.
• 为了能够准确和快速地将光谱数据转化为标准的H&E染色图像.

主要方法:

• 一个端到端的监督网络,光驱着色网络 (OSNet),被设计用于光谱传输到RGB图像的转换.
• 一个多尺度卷积残留块 (MultiResBlock) 被设计用于从光谱数据中提取特征.
• 一个试点光学染色系统建成并使用小鼠肝瘤幻灯片进行验证.

主要成果:

• 全光学染色方法产生了H&E染色图像,视觉上与传统的体化学染色无法区分.
• 平均扫描时间减少到3分钟,比传统方法的速度增加了13倍以上.
• 该系统表现出高可靠性和稳定性,解决了可解释性问题.

结论:

• 拟议的全光学染色框架提供了一种无试剂,快速和准确的替代传统体内化学方法.
• 这种计算生成的染色方法对时间敏感的诊断和先进的分子分析具有重大潜力.
• 该技术绕过了复杂的染色程序,为数字病理学提供了一个插即用解决方案.