增强对通用图像分割的查询表述
1Department of Electrical and Computer Engineering, Illinois Institute of Technology, Chicago, IL 60616, USA.
Sensors (Basel, Switzerland)
|March 28, 2024
概括
有效的查询优化器 (EQO) 通过减少计算复杂性来增强图像细分. 这种新的方法比OneFormer等现有方法提高了性能,提供了更强大的对象查询表示.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 视觉转换器推动了图像细分方面的进步.
- 像OneFormer这样的现有模型面临着计算需求和文本生成和对比损失计算效率低下的挑战.
研究的目的:
- 在图像分割中引入一个有效的查询优化方法.
- 为了减少计算复杂性和改进基于变压器的细分模型的性能.
主要方法:
- 开发了高效查询优化器 (EQO),利用多模式数据进行查询改进.
- 实施了一种将图像信息提炼成单个模板句子的策略,减少参数和计算.
- 提出了一种基于注意力的新型对比损失,用于一对多匹配机制,以增强对象查询表示.
主要成果:
- 与OneFormer相比,EQO显著降低了复杂性.
- 该模型使用Swin-T骨干在三个细分任务中展示了卓越的性能.
- 在ADE20K数据集上,OneFormer的表现优于mIoU的0.2%,AP的0.6%,PQ的0.8%.
结论:
- EQO有效地解决了基于变压器的图像分割中的低效率问题.
- 提出的方法导致了更强大的对象查询学习和更好的细分精度.
- EQO代表了高效和高性能图像分割的重大进步.
