通过少数样本驱动的风格与内容无监督的域调整来减少触觉感知中的交叉传感器域差距
Xingshuo Jing1,2, Kun Qian1,2,3
1School of Automation, Southeast University, Nanjing 210096, China.
Sensors (Basel, Switzerland)
|January 11, 2025
概括
本研究引入了一种新的无监督域适应方法,使不同视觉触觉传感器之间的知识传输成为可能. 这种方法有效地弥合了领域的差距,提高了跨传感器形状识别的准确性.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 不同视觉触觉传感器之间的知识传输是可取的,但由于传感器的变化而具有挑战性.
- 现有的方法在照明,成像和材料属性的差异引起的领域差距中扎.
研究的目的:
- 为跨传感器视觉触觉学习开发一个以少数样本为导向的,风格对内容无监督的域调整方法.
- 为了减少不同视觉触觉传感器之间的域间隙,而不需要广泛的标记数据.
主要方法:
- 提出了一个全球和本地聚合瓶 (GLAB) 层,以实现高效的特征压缩和少数样本学习.
- 引入了富里埃式转换 (FST) 模块和原型受约束损失,用于风格级域调整.
- 实施了高信任指导的教师-学生网络,用于内容级域调整的自蒸.
主要成果:
- 与最先进的方法相比,在跨传感器域适应任务中表现出卓越的性能.
- 在用于跨传感器形状识别的DIGIT识别数据集上实现了89.8%的准确性.
- 验证了该方法在现实世界机器人形状识别任务中的有效性.
结论:
- 拟议的无监督域适应方法有效地弥合了视觉触觉传感器之间的风格和内容差距.
- 这种方法显著提高了跨传感器知识传输和形状识别能力.
- 该方法为减少机器人和计算机视觉中的数据收集和注释工作提供了一个有希望的解决方案.
