边缘设备上的移动机器人实时开放词汇感知:对准确度-延迟权衡的系统分析
Jongyoon Park1, Pileun Kim2, Daeil Ko1
1Intelligence Robotics and Autonomous Mobility, Department of Artificial Intelligent, Korea Aerospace University, Goyang-si, Republic of Korea.
Frontiers in robotics and AI
|November 6, 2025
概括
在边缘设备上优化视觉语言模型 (VLMs) 以实现实时机器人感知,需要平衡准确性和速度. 本研究对NVIDIA Jetson AGX Orin上的不同VLM配置进行了基准测试,为高效部署提供了洞察力.
科学领域:
- 机器人和人工智能 机器人和人工智能
- 计算机视觉 计算机视觉
- 人与机器人的交互
背景情况:
- 视觉语言模型 (VLM) 对于使机器人能够理解自然语言命令和在复杂环境中运行至关重要.
- 在资源有限的边缘设备上,VLMs的实时性能由于高计算成本而具有挑战性.
- 在动态环境中,有效的人机交互 (HRI) 需要高效的机器人感知管道.
研究的目的:
- 系统地分析精度和延迟之间的权衡,以优化使用VLMs的实时机器人感知管道.
- 在NVIDIA Jetson AGX Orin 64GB平台上评估不同VLM配置的性能.
- 为在嵌入式系统上部署先进的VLM提供实用基准.
主要方法:
- 研究了开放词汇检测和基于提示的细分模型的组合.
- 使用NVIDIA TensorRT在各种精度级别 (FP32,FP16,最佳) 中优化每个管道.
- 量化比较的平均交叉点在欧盟 (mIoU) 和每个配置的延迟.
主要成果:
- 介绍了各种VLM管道配置的mIoU和延迟的详细定量比较.
- 确定了模型准确度和实时处理速度之间的特定权衡.
- 证明了精度水平对性能的影响.
结论:
- 该研究为在嵌入式系统上部署VLM的研究人员和开发人员提供了实用的见解和基准.
- 优化VLM管道对于实现机器人应用中的实时性能至关重要.
- 这些发现有助于将先进的人工智能功能集成到移动机器人中,以提高HRI.
