在浮游生物图像分类中的域内与域外转移学习.
Andrea Maracani1,2, Vito Paolo Pastore3, Lorenzo Natale1
1Istituto Italiano di Tecnologia, Genoa, Italy.
Scientific reports
|June 27, 2023
概括
使用ImageNet22K预训练的域外转移学习显著提高了浮游生物图像分类的准确性. 将视觉转换器和ConvNeXt模型组合在一起进一步提高了性能,超过了当前最先进的方法.
科学领域:
- 海洋生物学和生态学
- 计算生物学和机器学习
背景情况:
- 浮游生物对水生食物网至关重要,可以作为生物传感器,因为它们对环境变化的敏感性.
- 高分辨率的成像系统产生了庞大的浮游生物数据集,但注释是昂贵的,数据集往往不平衡.
- 转移学习,特别是使用ImageNet,是对数据稀缺和浮游生物图像分类不平衡的常见解决方案.
研究的目的:
- 为了比较域内与域外转移学习的有效性,用于浮游生物图像分类.
- 评估不同的转移学习管道,包括从零开始对浮游生物数据,自然图像数据集和两阶段微调方法的预训练.
- 评估像Vision Transformers和ConvNeXt这样的最先进模型及其用于浮游生物分类的组合的性能.
主要方法:
- 设计了三个转移学习管道: (1) 从零开始对浮游生物数据进行预训练, (2) 在ImageNet1K/22K进行预训练,以及 (3) 两阶段微调 (ImageNet -> 浮游生物数据集 -> 目标数据集).
- 在三个基准浮游生物数据集上微调预训练模型.
- 评估了三个ImageNet22K预训练的视觉转换器和一个ConvNeXt模型.
- 创建并测试了这些先进模型的集合.
主要成果:
- 用ImageNet22K进行域外预训练的效果优于域内浮游生物预训练,平均测试准确度增加了6%.
- 单个模型 (视觉变压器和ConvNeXt) 取得了与现有的最先进的CNN合奏相等或更好的结果.
- 开发的整体模型在所有三个浮游生物基准数据集上都超过了最先进的性能.
结论:
- 外域转移学习,特别是使用ImageNet22K,对于浮游生物图像分类非常有效,解决数据不平衡和注释成本.
- 像Vision Transformers和ConvNeXt这样的高级深度学习架构,特别是当它们组合在一起时,代表了目前浮游生物图像分类的最新状态.
- 开源代码促进了浮游生物图像分析的进一步研究和开发.
