下一代XR系统-大型语言模型与增强现实和虚拟现实相遇
IEEE computer graphics and applications
|March 6, 2025
概括
将大型语言模型 (LLM) 与扩展现实 (XR) 集成,可以创造更智能,更适应的混合现实体验. 这种融合增强了情境意识和用户互动,用于诸如神经康复和安全培训等领域.
科学领域:
- 计算机科学 计算机科学
- 人与计算机的交互
- 人工智能的人工智能
背景情况:
- 扩展现实 (XR) 系统提供了新的人机交互方法.
- 目前的XR功能可以通过集成先进的人工智能来增强.
研究的目的:
- 提出一个框架,将大型语言模型 (LLM) 与XR集成在一起.
- 探索LLM-XR整合的潜力,以创建智能,上下文意识的混合现实体验.
主要方法:
- 一个基于三个支柱的结构化框架:感知/情境意识,知识建模/推理和可视化/交互.
- 在XR环境中应用LLM功能的概念分析.
主要成果:
- 通过LLM-XR集成,可以提高情境意识和实时知识检索.
- 动态的用户交互和适应性体验超越了传统的XR.
结论:
- 在混合现实中,LLMs和XR的整合代表了重大进步.
- 在神经康复,安全培训和建筑设计方面的潜在应用,强调道德考虑.


