可解释的XR:使用LLM辅助分析框架了解XR环境的用户行为
IEEE transactions on visualization and computer graphics
|March 10, 2025
概括
可解释的XR是一个新的框架,用于分析增强现实,虚拟现实和混合现实 (XR) 环境中的用户行为. 它使用大型语言模型 (LLM) 为用户在沉浸式应用程序中的操作和交互提供可操作的见解.
科学领域:
- 人与计算机的交互
- 沉浸式分析 沉浸式分析
- 扩展现实 (XR)
背景情况:
- 现有的XR分析与跨虚拟过渡,多用户协作和多式联运数据作斗争.
- 目前的框架缺乏统一的方法来分析各种扩展现实 (XR) 用户行为.
研究的目的:
- 介绍Explainable XR,这是一个用于分析不同XR环境中的用户行为的多功能框架.
- 通过为数据收集,分析和可视化提供虚拟性无关的解决方案来解决当前XR分析的局限性.
主要方法:
- 开发了一种新的用户动作描述器 (UAD) 模式,用于捕获多式联运用户动作,意图和上下文.
- 创建了一个无平台的XR会话记录器和一个视觉分析界面.
- 综合大型语言模型 (LLM) 用于辅助数据解释和洞察生成.
主要成果:
- 通过在个人和协作XR应用程序中的五个用例场景展示了可解释XR的多功能性.
- 技术评估和用户研究证实了高可用性和提供多方面的,可操作的见解.
- 该框架有效地处理XR分析中的多式联网数据和跨虚拟过渡.
结论:
- 可解释的XR提供了一个强大的和可用的解决方案,用于理解用户在沉浸式环境中的行为.
- 该框架通过LLM辅助的洞察力,促进了对XR会话数据的更深入的探索和分析.
- 可解释的XR增强了在不断变化的扩展现实环境中对人机交互的研究.
更多相关视频
10:43Eye-tracking Technology and Data-mining Techniques used for a Behavioral Analysis of Adults engaged in Learning Processes
Published on: June 10, 2021
5.3K
12:55Multimodal Protocol for Assessing Metacognition and Self-Regulation in Adults with Learning Difficulties
Published on: September 27, 2020
8.3K
