基于学习的模型的开发和评估,用于实时触觉纹理染
IEEE transactions on haptics
|March 27, 2024
概括
本研究介绍了一种深度学习模型,用于在虚拟现实 (VR) 中实现现实的触觉纹理染. 该模型有效地为各种表面产生触觉振动,而不需要单独的纹理模型,增强VR沉浸感.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 人与计算机的交互
- 计算机图形 计算机图形
背景情况:
- 虚拟现实 (VR) 系统缺乏现实的触觉反,限制了用户的沉浸感.
- 目前的触觉纹理染方法由于每个纹理模型的要求而不是可扩展的.
研究的目的:
- 开发一个通用的,动作条件深度学习模型,用于实时触觉纹理染.
- 与现有方法相比,评估拟议模型的感知性能和可扩展性.
主要方法:
- 使用基于视觉的触觉传感器 (GelSight) 来捕获表面数据.
- 开发了一个统一的,动作条件的深度学习模型,用于纹理染.
- 采用高带宽的振动感应传感器来传递触觉反.
主要成果:
- 基于学习的方法在染高频纹理振动方面取得了同等或更高的质量.
- 该模型展示了可扩展性,在没有每种纹理训练的情况下染多种纹理.
- 使用单个GelSight图像成功染了以前看不见的纹理.
结论:
- 拟议的深度学习方法提供了一个可扩展和有效的解决方案,用于在虚拟现实中实现现实的触觉纹理染.
- 这一进步通过提供精确的触觉感觉,显著提高了虚拟环境中的沉浸式体验.


