用于RGB-D路面废弃物检测和识别的多式模式深度学习网络
1School of Automation Science and Engineering, Faculty of Electronic and Information Engineering, Xi'an Jiaotong University, Xi'an 710049, Shaanxi, China.
Waste management (New York, N.Y.)
|February 7, 2024
概括
本研究引入了一种新的多模式学习方法,用于使用RGB和深度图像检测和识别路面废物. 拟议的MM-Net显著提高了智能清洁机器人的废物管理效率.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器人技术 机器人技术 机器人技术
背景情况:
- 目前的路面废物管理依赖于低效的手工劳动.
- 现有的废弃物检测深度学习方法受到RGB图像数据的限制.
研究的目的:
- 开发一种高效的多模式学习解决方案,用于路面垃圾的检测和识别.
- 通过结合深度信息来解决仅使用RGB方法的局限性.
主要方法:
- 高质量的户外路面废弃物数据集 (OPWaste) 的建设,带有色彩和深度图像.
- 开发一个新的多模多尺度网络 (MM-Net),包括多尺度改进 (MRM) 和交互 (MIM) 模块.
- 探索和比较六种不同的多模式融合技术.
主要成果:
- MM-Net,利用图像添加融合方法,实现了最先进的性能.
- 在实验评估中,该模型在mAP0.5上达到97.3%,在AR指标上达到84.4%.
- 对比实验证明了MM-Net在其他深度学习模型中的优势.
结论:
- 多模式学习对于推进智能废物回收系统至关重要.
- 拟议的MM-Net提供了一个有前途的解决方案,用于使用智能清洁机器人的自动户外废物管理.
