无监督的技能发现通过技能区域的差异化
IEEE transactions on neural networks and learning systems
|October 14, 2025
概括
本研究引入了一种新的无监督强化学习 (RL) 方法,以发现各种技能. 它增强了复杂环境中的探索,从而提高了未来任务的性能.
科学领域:
- 人工智能的人工智能
- 机器学习 机器学习
- 机器人技术 机器人技术 机器人技术
背景情况:
- 无监督强化学习 (RL) 旨在发现各种行为,以改善下游任务学习.
- 基于的探索和赋权驱动的技能学习等现有方法在大型状态空间和状态探索中分别面临挑战.
研究的目的:
- 提出一种新的技能发现目标,以提高无监督RL的技能状态多样性和技能内探索.
- 解决大规模状态空间当前方法的局限性,提高整体学习效率.
主要方法:
- 开发了一个新的技能发现目标,最大限度地提高技能之间的状态密度偏差,以实现多样性.
- 构建了一个具有软模块化的条件自编码器,用于在高维空间中估计状态密度.
- 制定了基于自编码器的内在奖励,用于技能内探索,模仿潜伏空间中的计数方法.
主要成果:
- 提出的方法有效地学习有意义的技能,跨越具有挑战性的状态和基于图像的任务.
- 与现有方法相比,在下游任务中表现出卓越的性能.
- 验证了新技能发现目标和基于自动编码器的内在奖励的有效性.
结论:
- 这种新的方法成功地促进了无监督RL的跨技能多样性和技能内探索.
- 该方法显示了在复杂环境和多种下游应用中加速学习的巨大潜力.
- 这项工作为推进强化学习技能发现提供了有前途的方向.
