基于知识蒸和视觉变换器的甲状腺细胞病理图像的高效分类
Jiazhe Zhang1, Haolin Zhang1, Peng Jiang2
1College of Engineering Science and Technology, Shanghai Ocean University, Shanghai, 201306, China.
Scientific reports
|August 17, 2025
概括
本研究介绍了多维知识蒸用于使用病理图像进行甲状腺癌诊断. 该方法在显著降低计算复杂性的情况下实现了高精度,从而实现了高效的自动诊断.
科学领域:
- 在瘤学瘤学.
- 计算机科学 计算机科学
- 医疗成像医学成像
背景情况:
- 甲状腺癌的诊断依赖于细针吸入细胞学 (FNAC),但大规模的病理图像分析会带来准确性和效率的挑战.
- 甲状腺病理的自动诊断系统需要强大的模型,能够处理复杂的图像结构和庞大的数据集.
研究的目的:
- 使用知识蒸开发一种高效准确的甲状腺癌自动诊断方法.
- 从一个大型教师模型的知识压缩成一个更小,计算效率更高的学生模型,用于甲状腺病理图像分析.
主要方法:
- 提出了一种新的多维知识蒸 (MDKD) 方法,集成基于特征和基于响应的蒸.
- 采用12层视觉变压器作为教师模型和3层视觉变压器作为学生模型.
- 特性蒸结合了空间,通道和类令牌信息;响应蒸使用了目标对齐.
主要成果:
- 学生模型在22111个甲状腺细胞病理贴片的数据集上实现了94.87%的Top-1分类准确性.
- 与教师模型相比,实现了0.55%的准确差距,计算复杂性大约是教师模型的四倍.
- 证明了成功的知识转移,学生模型继承了教师模型的概括优势.
结论:
- 多维知识蒸是一种有效的知识转移方法,用于自动化甲状腺癌诊断.
- 开发的学生模型为分析甲状腺病理图像提供了一种计算效率高但高度准确的解决方案.
- 这种方法解决了大规模甲状腺病理图像分析的准确性和效率的实际挑战.
