人类-人工智能在远程视觉援助方面的合作机会

科学领域:

• 人与计算机的交互
• 计算机视觉 计算机视觉
• 辅助技术 辅助技术 辅助技术

背景情况:

• 远程视觉辅助 (RSA) 是一种对话技术,帮助视力障碍 (VI) 患者使用远程视觉代理进行实时导航.
• 现有的RSA系统面临着技术和导航挑战,对代理和用户来说都是如此.

研究的目的:

• 综合识别和理解远程视觉辅助 (RSA) 的技术和导航挑战.
• 探索计算机视觉 (CV) 的潜力,并提出人类-CV合作的新方向,以加强RSA.

主要方法:

• 进行了关于远程视觉辅助 (RSA) 的文献综述.
• 采访了12名RSA用户,以收集他们经验和挑战的见解.
• 分类技术挑战和确定现实世界的导航场景.

主要成果:

• 确定了四类技术挑战:用户本地化,环境感知,信息传递和网络连接.
• 详细介绍了15个现实世界导航场景 (8个室外,7个室内),突出了用户的困难.
• 发现当前的CV技术部分解决了挑战,但仍然存在重大差距.

结论:

• 需要在人类-CV协作方面取得重大进展,以应对全方位的RSA挑战.
• 提出了人类-CV合作中的五个新出现的问题:盲目意识算法,强大的本地化,数字屏幕识别,不规则的文本识别和轨迹预测.
• 解决这些问题将推动CV研究,并使下一代RSA成为可能.