人类-人工智能合作用于远程视觉辅助:从LLM时代的观点
Rui Yu1, Sooyeon Lee2, Jingyi Xie3
1Department of Computer Science and Engineering, University of Louisville, Louisville, KY 40208, USA.
Future internet
|March 7, 2025
概括
远程视觉辅助 (RSA) 帮助视力障碍者 (VI) 完成日常任务. 这项研究确定了技术和导航方面的挑战,为未来的视觉假肢解决方案提出了人 - 人工智能合作.
科学领域:
- 人与计算机的交互
- 辅助技术 辅助技术 辅助技术
- 计算机视觉 计算机视觉
背景情况:
- 远程视觉辅助 (RSA) 使用实时视频聊天将视觉障碍 (VI) 患者与视觉特工联系起来.
- 了解用户和代理所面临的挑战对于提高RSA有效性至关重要.
研究的目的:
- 审查现有的文献和采访RSA用户,以确定技术和导航方面的挑战.
- 探索潜在的计算机视觉解决方案,并制定需要人类-AI合作的新出现的问题.
- 设想未来将大型语言模型 (LLM) 整合到 RSA 中,以实现增强的视觉假肢.
主要方法:
- 进行了关于远视辅助的综合文献审查.
- 与12名使用RSA的个人进行了定性采访.
- 分类技术挑战和确定现实世界的导航场景 (室内和室外).
主要成果:
- 确定了RSA代理人面临的四类技术挑战:定位/本地化,环境感知,特定情况的信息传递和网络连接.
- 介绍了15个现实世界的导航挑战,强调了计算机视觉可以提供解决方案的领域.
- 制定了10个需要人人工智能协同合作的新兴问题,包括与LLMs集成.
结论:
- 人与人工智能的合作对于解决远视辅助的复杂挑战至关重要.
- 整合大型语言模型为开发先进的视觉假肢提供了一个有希望的途径.
- 未来的研究应该集中在人类-人工智能框架上,以提高VI患者的RSA能力.
