mTREE:多级文本导向表示 终端到终端学习 整个幻灯片图像分析

科学领域:

• 计算病理学计算病理学
• 数字病理学数字病理学
• 医疗图像分析 医学图像分析

背景情况:

• 多模式学习与高分辨率的基因病理图像 (千兆像素全幻灯片图像 - WSIs) 斗争.
• 现有的方法通常使用手动标签或多阶段过程,缺乏无端到端整合多尺度图像和文本数据.
• 需要有效地将多尺度图像表示与文本数据集成到一个端到端框架中.

研究的目的:

• 引入一个新的端到端学习框架,多级文本导向表示端到端学习 (mTREE),用于基因病理图像和文本分析.
• 为了使多尺度全幻灯片图像 (WSI) 表示与文本病理信息的无集成.
• 利用文本信息来实现关键区域的本地化以及在统一模型中的功能集成.

主要方法:

• 开发了mTREE,这是一个以文本为导向的方法,用于捕获多个尺度的WSI表示.
• 利用文本病理信息作为注意地图来识别WSIs中的关键领域.
• 集成的文本特征与图像表示在一个统一的,端到端的学习框架,结合全球到本地和地方到全球的战略.
• 采用了对文本的双重作用:通过注意力和特征集成进行本地化.

主要成果:

• mTREE在对分类和生存预测任务的定量分析中表现出有效性.
• 拟议的mTREE方法在现有的基线方法上显示出明显的优势.
• 代码和训练模型是公开的.

结论:

• mTREE提供了一种有效的解决方案,可以将多尺度组织病理学图像数据与文本信息集成在一起.
• 新的文本导向,端到端的框架显著提高了WSI分析任务的性能.
• 这种方法推进了数字病理学的多模式学习应用.