通过视觉语言导航的大型模型进行可校正的地标发现
概括
这项研究介绍了CONSOLE,一种新的视觉语言导航 (VLN) 方法,使用大型语言模型来更好地发现地标. 康索尔通过纠正地标与现实世界观测的对齐来改善未经探索的地区的导航.
科学领域:
- 人工智能的人工智能
- 机器人技术 机器人技术 机器人技术
- 计算机视觉 计算机视觉
背景情况:
- 视觉语言导航 (VLN) 代理人难以准确地调整模式,特别是在新环境中,由于训练数据有限.
- 现有的VLN方法缺乏足够的开放世界的知识,以使语言地标与视觉观测保持一致.
研究的目的:
- 提出一种新的VLN范式,可通过大型模型 (CONSOLE) 进行可校正的Landmark DiScOvery,以改善地标发现和导航.
- 增强VLN代理人的语言指令与未经探索的场景中的视觉观察调整能力.
主要方法:
- CONSOLE将VLN作为一个开放世界的顺序地标发现问题.
- 它利用ChatGPT来获得常识共发生的知识,并以这些先验为指导,利用CLIP进行里程碑式的发现.
- 一个可学习的共发生分数模块使用实际观察来纠正先前的噪音,而观察增强策略集成了纠正的基准特征,用于采取行动决策.
主要成果:
- 在多个VLN基准 (R2R,REVERIE,R4R,RxR) 中,CONSOLE显示出明显的优势.
- 该框架建立了R2R和R4R基准的最新结果,特别是在未见的场景中.
- CONSOLE有效地改善了在充满挑战,未经探索的环境中发现地标和调整模式.
结论:
- 通过整合大型语言模型来增强地标发现,CONSOLE为视觉语言导航提供了一个强大的新范式.
- 拟议的可纠正的地标发现计划和观测增强策略显著提高了VLN的性能,特别是在复杂和看不见的环境中.
- 这项工作为更强大,更适应性强的VLN代理铺平了道路,能够在多样化和开放世界的环境中导航.
