RegSeg:一个端到端的网络,用于多模式的RGB热量注册和语义细分

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 图像处理 图像处理

背景情况:

• RGB热图像的错位降低了语义细分的准确性.
• 现有的非端到端的方法会因分离注册和细分而导致融合错误和实时性能差.
• 注册精度直接影响语义细分精度.

研究的目的:

• 开发一个端到端的方法,用于联合RGB热记录和语义细分.
• 为了提高多式联络图像分析的计算效率和实时性能.
• 为了克服与注册中的灵活变形场相关的培训挑战.

主要方法:

• 提出了一个端到端的多式联运注册和细分框架,使用灵活的变形场.
• 使用共享编码器进行注册和语义细分,以减少冗余.
• 引入了一个语义对齐损失函数,通过最小化注册热和RGB特征之间的细分损失来训练对齐模块.

主要成果:

• 通过广泛的实验,实现了显著的性能提升.
• 在IR SEG数据集上获得了最先进的结果,在整个欧盟的平均交叉率 (mIoU) 为61.1%,平均准确率 (mAcc) 为76.0%.
• 与非端到端方法相比,证明了更好的计算效率和实时性能.

结论:

• 端到端的方法有效地解决了RGB热失调,以改善语义细分.
• 通过灵活的变形场和语义对齐损失共同优化注册和细分是非常有效的.
• 拟议的方法为实时,准确的多式联络图像分析提供了一个有前途的解决方案.