视力障碍者和盲人的图像标题:低资源语言的配方

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 人与计算机的交互

背景情况:

• 视力受损和盲人面临着重大社会经济挑战,影响独立性和社会融合.
• 机器学习的进步为开发辅助技术提供了新的可能性.
• 现有的辅助设备可能缺乏全面的场景描述功能或特定语言的支持.

研究的目的:

• 开发和评估一种结合图像标题和文本转化为语音技术的辅助设备,用于视力受损者和盲人.
• 以哈萨克语提供实时听觉反,描述由头部安装摄像头捕捉到的场景.
• 评估开发系统的可行性和有效性.

主要方法:

• 整合了为哈萨克语量身定制的先进图像标题模型.
• 对听觉输出进行文本到语音合成的实施.
• 实时场景分析使用头部安装摄像头系统.
• 对图像标题模型的性能进行定量和主观评估.
• 使用视力正常的参与者模拟视力障碍的可行性测试.

主要成果:

• 为哈萨克斯坦开发的图像标题模型基于定量指标表现出令人满意的表现.
• 主观评估表明,该系统提供了有用和描述性的听力反.
• 可行性实验证实了集成系统作为可行的辅助工具的潜力.

结论:

• 图像标题和文本转化为语音技术的结合为为视力受损者创建有效的辅助设备提供了有希望的方法.
• 开发的系统提供实时听觉场景描述在哈萨克语,解决特定的语言需求.
• 该研究验证了这种技术整合的可行性,以提高视力障碍者的独立性和参与度.