RCKD:基于响应的跨任务知识蒸用于病理图像分析

科学领域:

• 计算病理学计算病理学
• 医学中的人工智能
• 医疗图像分析 医学图像分析

背景情况:

• 病理图像分析需要强大的模型来准确诊断.
• 现有的转移学习方法在跨任务和跨架构的知识转移方面存在局限性.
• 高分辨率的病理图像带来了计算方面的挑战.

研究的目的:

• 引入一种新的转移学习框架,即基于响应的交叉任务知识蒸 (RCKD),用于病态图像分析.
• 开发一个轻量级的神经网络架构,卷积神经网络与转换器的空间注意力 (CSAT),用于高分辨率的病理图像的高效处理.
• 提高模型在下游任务 (如癌症亚型分类和细分) 的性能.

主要方法:

• 通过RCKD通过教师模型预测使用未标记的病理图像训练学生模型.
• 微调预训练模型的下游任务 (分类,细分) 用小的目标数据集.
• 建议和评估CSAT架构,以实现高效的高分辨率图像处理.

主要成果:

• RCKD能够跨不同任务和模型架构进行知识传输.
• 在ImageNet上,CSAT架构以最小的参数 (78.6%的top-1精度,3M参数) 实现了高精度.
• 经过RCKD预训练的CSAT在病理图像数据集上显著优于EfficientNet-B0和ConvNextV2-Atto,达到94.2%的分类准确率和0.673 mIoU的细分准确率.

结论:

• RCKD是用于病理图像分析的有效转移学习框架,性能优于传统方法.
• CSAT架构为分析高分辨率病理图像提供了高效的解决方案.
• 结合RCKD和CSAT方法在癌症分类和细分任务中表现出卓越的性能.