通过大型语言模型,为盲人用户提供统一的计算机交互体验

科学领域:

• 人与计算机的交互
• 辅助技术 辅助技术 辅助技术
• 人工智能的人工智能

背景情况:

• 盲人依赖屏幕阅读器进行计算机交互.
• 不同质的应用程序接口给屏幕阅读器用户带来了重大导航挑战.
• 现有的方法需要记住许多键盘快捷键和导航模式.

研究的目的:

• 推出Savant,这是一种新的辅助技术,旨在统一盲人屏幕阅读器用户的应用程序界面交互.
• 为了减少与各种图形用户界面相关的认知负载和交互负担.
• 通过使用自然语言实现应用程序之间统一的交互.

主要方法:

• 开发Savant,一种利用大型语言模型 (LLM) 的辅助技术.
• 实现自然语言处理以解释用户命令.
• 基于灵活,自然语言提示的屏幕阅读器操作的自动化.
• 用户研究涉及11名盲人参与者,以评估Savant的有效性.

主要成果:

• Savant使盲人用户能够通过自然语言与任何应用程序界面进行交互.
• 该系统基于用户命令自动化复杂的屏幕阅读器操作.
• 用户命令不需要界面元素的精确命名.
• 在交互效率和可用性方面观察到显著的改进.

结论:

• Savant为盲人屏幕阅读器用户提供了一种统一而高效的交互方法.
• 基于LLM的辅助技术可以有效地应对导航异质接口的挑战.
• 这些发现表明,基于自然语言的辅助工具的未来充满希望.