阿格斯:AI辅助任务指导在AR中的可视化

科学领域:

• 人与计算机的互动.
• 人工智能的人工智能是人工智能.
• 计算机视觉 计算机视觉 计算机视觉

背景情况:

• 增强现实 (AR) 助手需要复杂的人工智能 (AI) 来实现实时3D环境感知,任务推理和表演者建模.
• 开发需要多式传感器数据 (音频,视频,深度,语音) 和机器学习 (ML) 模型来解释用户活动.

研究的目的:

• 推出ARGUS,这是一个视觉分析系统,旨在促进智能AR助手的开发.
• 通过提供可视化和分析ML模型性能和传感器数据的工具来解决创造AR助手的挑战.

主要方法:

• 共同设计方法涉及可视化研究人员,ML专家和AR专家.
• 开发一种视觉分析系统 (ARGUS),用于在线和离线分析AR会话.
• 可视化多式传感器数据流和ML模型输出 (对象,动作,步骤检测).

主要成果:

• 在AR会话中,ARGUS可以在线可视化实时ML检测.
• 简化了记录的AR数据的离线分析,提供了对表演者活动和ML模型行为的见解.
• 展示了在AR环境中可视化ML过程的进步.

结论:

• 阿格斯为开发人员提供了关键的见解,以解决故障,改进和微调AR助理组件.
• 该系统支持复杂的AI驱动AR应用程序的代开发周期.
• 通过可视化其内部状态和数据交互,增强了AR中使用的ML模型的理解和调试.