TASA:为长尾图像分类提供文本定状态空间对齐

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 视觉语言模型很难对长尾图像进行分类,原因是头类占主导地位,尾类代表不足.
• 软弱的文本监督和简短的提示加剧了偏见,阻碍了少数阶级的表现.
• 现有的方法在有效的交叉模式融合和不平衡数据集的稳定文本监督方面扎.

研究的目的:

• 介绍TASA,一个端到端的框架,旨在稳定文本监督并加强长尾图像分类的交叉模式融合.
• 改善在视觉语言模型中代表代表性不足的尾部阶级.
• 开发一种不需要配对图像-文本数据或每类提示调的方法.

主要方法:

• 实现了一个语义分布调制 (SDM) 模块,使用LLM生成的描述创建稳定,多样化的类特定文本原型.
• 引入了一个双空间交叉模式融合 (DCF) 模块,具有选择性扫描状态空间块,以实现高效的双向特征融合.
• 利用边缘感知对齐损失将图像与类原型对齐以进行分类.

主要成果:

• 在CIFAR-10/100-LT,ImageNet-LT和Places-LT数据集上,TASA在许多,中,和少数射击组中显示出一致的改进.
• 除研究表明,DCF模块提供了最大的单个性能增长.
• SDM和DCF模块的组合产生了最强大和最平衡的分类性能.

结论:

• 整合以文本驱动的原型与状态空间融合对于解决长尾图像分类挑战是非常有效的.
• 塔萨提供了一种稳定高效的方法来增强跨模式融合和减轻阶级偏见.
• 该框架成功地将视觉特征与语义原型结合起来,提高了不平衡数据集的分类准确性.