通过多式联动增强视障人士的旅行体验:NaviGPT,一个实时的人工智能驱动的移动导航系统
He Zhang1, Nicholas J Falletta1, Jingyi Xie1
1College of Information Sciences and Technology, The Pennsylvania State University, University Park, Pennsylvania, USA.
概括
NaviGPT为视力障碍者 (PVI) 提供统一的导航辅助,集成AI,传感器和大型语言模型 (LLM) 以实时环境意识和指导.
科学领域:
- 人与计算机的交互
- 辅助技术 辅助技术 辅助技术
- 人工智能的人工智能
背景情况:
- 目前用于视力障碍者 (PVI) 的辅助技术通常需要用户在多个应用程序之间切换,破坏无用户体验.
- 人工智能 (AI) 和实时传感器技术的进步为更集成的解决方案提供了潜力.
研究的目的:
- 介绍NaviGPT,这是一款新的高保真原型,旨在为PVI提供全面的实时导航辅助.
- 通过将多个功能集成到一个单一系统中来解决现有的辅助工具的局限性.
主要方法:
- 集成基于LiDAR的障碍物检测,振动反和大型语言模型 (LLM) 响应.
- 开发一个统一的系统,结合图像识别和上下文导航指导.
- 利用位置和传感器数据来减轻LLM响应延迟.
主要成果:
- NaviGPT 在不需要切换应用程序的情况下,对用户周围环境提供持续的实时反.
- 该系统集成图像识别和导航指导,提供全面的用户体验.
- NaviGPT旨在在动态环境中提供实用和高效的导航支持.
结论:
- NaviGPT通过提供综合有效的导航解决方案,代表了PVI辅助技术的重大进步.
- 该原型展示了整合人工智能,传感器和LLM的潜力,以提高视力受损人士的流动性和独立性.


