SC-CoSF:用于图像融合和语义细分的自纠正协作和联合培训
Dongrui Yang1, Lihong Qiao1,2, Yucheng Shu1,2
1Key Laboratory of Big Data Intelligent Computing, Chongqing University of Posts and Telecommunications, Chongqing 400065, China.
Sensors (Basel, Switzerland)
|June 27, 2025
概括
我们介绍了SC-CoSF,这是一个用于自主系统中的多式联接图像和语义细分的新框架. 这种方法通过共同优化任务来提高性能,提高融合质量和细分精度.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器人技术 机器人技术 机器人技术
背景情况:
- 多模式图像融合和语义细分对于自主系统至关重要.
- 它们的相互依赖性未被充分探索,导致性能瓶.
研究的目的:
- 提出SC-CoSF,这是一个新的合框架,用于联合优化图像融合和语义细分.
- 解决未被充分探索的相互依赖,克服性能限制.
主要方法:
- 使用重量共享CNN编码器实现隐式多式联运特征对齐和降低参数.
- 介绍了一种自我校正和协作融合模块 (Sc-CFM) 与自我校正长距离关系分支 (Sc-LRB) 和自我校正细粒度分支 (Sc-FGB).
- 采用双分支协作重新校准 (DCR),交互式上下文恢复Mamba解码器 (ICRM) 和区域自适应加权重构解码器 (ReAW).
主要成果:
- 与独立优化基线相比,核聚变质量显著改善.
- 通过协同学习和交叉任务功能改进实现更高的细分精度.
- 保持关键的边缘纹理和颜色对比度,同时减少功能冗余.
结论:
- SC-CoSF有效地利用跨任务的一致性,提高多式模式图像融合和语义细分的性能.
- 通过端到端培训进行联合优化,可以实现梯度传播以获得卓越的结果.
- 拟议的框架为自动驾驶和机器人系统提供了一个有希望的解决方案.
