域自适应和通用化的网络架构和培训策略,用于语义图像分割的语义图像分割

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 无监督域调整 (UDA) 和域泛化 (DG) 对于将机器学习模型应用于新的,未标记的数据集至关重要.
• 现有的UDA和DG语义细分方法通常依赖于过时的网络架构.
• 挑战包括过度适应源域和保存细节或长距离上下文,由于图像操作提高了内存效率.

研究的目的:

• 为了比较最近的网络架构,包括变压器,用于UDA和DG语义细分.
• 设计和引入针对UDA和DG任务的DAFormer网络.
• 提出HRDA,一个多分辨率框架,以克服UDA/DG中低分辨率或裁剪图像的局限性.

主要方法:

• 对UDA/DG的变压器等近期架构进行基准测试.
• 开发了DAFormer的三种策略:罕见类采样,物类图像网特征距离和学习速率升温.
• 引入HRDA,一个多分辨率框架,使用高分辨率作物进行细节和低分辨率作物进行上下文,并注重学习规模.

主要成果:

• DAFormer和HRDA显著提高了UDA和DG语义细分的最新性能.
• 在5个不同的基准指标中,业绩增长超过了1000万个单位.
• 提出的方法有效地减轻了源域偏差,并增强了上下文理解.

结论:

• DAFormer和HRDA代表了UDA和DG在语义细分方面的重大进展.
• 开发的策略有效地解决了过和内存限制的问题.
• 在HRDA中的多解析度方法成功地平衡了细节的保存和上下文的捕获,从而实现了强大的域泛化.