在线自我训练驱动的注意力引导的自我模仿网络用于语义分割
概括
本研究介绍了一种新的自我训练驱动的注意力引导的自我模仿网络 (ST-ASMNet) 用于语义细分. 它有效地将知识从教师转移到学生网络,改善表现而不需要繁的模型.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 知识蒸 (KD) 是语义细分的关键,将知识从大网络转移到小网络.
- 目前的KD方法往往需要复杂的,大型的教师网络,使培训复杂化.
研究的目的:
- 开发一种新的,高效的知识蒸方法,用于语义细分.
- 在知识蒸过程中减少对繁的教师网络的依赖.
主要方法:
- 推出了一种以自我训练为导向的,以注意力为导向的,自我模仿的在线合奏网络 (ST-ASMNet).
- 利用中间通道联合注意力图来引导图像增强.
- 通过自我培训和指数移动平均 (EMA) -教师网络来提炼雇佣的知识.
主要成果:
- 在基准数据集上验证了ST-ASMNet的有效性 (Cityscapes,Pascal VOC,CamVid,ADE20k).
- 在语义细分任务中表现出更好的性能.
- 通过可视化分析展示了拟议方法的可解释性.
结论:
- ST-ASMNet提供了一种有效和可解释的方法来提炼知识,用于语义细分.
- 该方法通过从可信的预测和不变特征中学习来提高学生网络性能.
- 与现有的知识蒸方法相比,拟议的技术简化了培训过程.
相关概念视频
Nonconscious Mimicry
Nonconscious mimicry occurs when individuals alter their mannerisms to match the behaviors and expressions of those nearby, without intention.
Purposive Learning
E. C. Tolman emphasized the purposiveness of behavior — the idea that much of our behavior is goal-directed. For instance, employees who aim for a promotion work diligently to meet their targets. Tolman argued that when classical conditioning and operant conditioning occur, the organism acquires certain expectations. In classical conditioning, a child might fear a dog because they expect it to bite. In operant conditioning, a person might consistently work overtime because they expect a bonus...


