从一组视觉变压器中提炼知识,以改善乳房超声波的分类

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 精确的乳房超声波图像的分类对于早期癌症检测至关重要.
• 深度学习模型为医疗图像的自动化分析提供了潜力.

研究的目的:

• 开发和评估一种深度学习模型,用于将乳房超声波图像分类为良性或恶性.
• 探索视觉转换器 (ViT),集合学习和知识蒸的有效性.

主要方法:

• 使用乳房超声波图像 (BUSI) 数据集进行培训和验证.
• 将ViT的性能与卷积神经网络 (CNN) 的性能进行比较.
• 调查监督,自我监督和随机初始化的ViT模型,其次是集合和知识蒸技术.

主要成果:

• 视觉转换器 (ViT) 在乳房超声波图像分类中表现优于CNN.
• 自主监督的ViT模型与监督和随机初始化模型相比,表现优越.
• 一组ViT模型实现了0.977的接收器操作特征曲线下的面积 (AuROC) 和0.965的精度回调曲线下的面积 (AuPRC),优于单个模型的性能. 一个通过知识蒸培训的ViT获得了类似的结果 (AuROC 0.972,AuPRC 0.960).

结论:

• 转移学习和集体学习可以结合起来,以提高乳房超声波分类深度学习模型的性能.
• 知识蒸使单个ViT模型能够实现与一组模型相美的性能,提供更有效的解决方案.