使用时间记忆进行Q学习,以导航流
Marco Rando1, Martin James2, Alessandro Verri1
1MaLGa, Department of computer science, bioengineering, robotics and systems engineering, University of Genova, Genova, Italy.
ArXiv
|May 7, 2024
概括
代理人可以学会在动荡的环境中只使用嗅觉来导航. 一个具有记忆力的强化学习模型通过识别关键气味特征并采用类似昆虫的横风搜索策略,成功引导代理.
科学领域:
- 计算神经科学是一种计算神经科学.
- 机器人技术 机器人技术 机器人技术
- 动物行为 动物行为
背景情况:
- 嗅觉搜索对许多生物来说至关重要,但在动荡的环境中具有挑战性.
- 以前的模型通常依赖于空间线索或广泛的先前知识.
- 了解代理人如何只使用气味导航,需要强大的算法.
研究的目的:
- 通过使用顺序决策来调查代理人是否可以在动荡的环境中学习强大的嗅觉导航.
- 开发和测试一种用于气味导航的强化学习算法.
- 识别关键的嗅觉特征和成功导航的内存要求.
主要方法:
- 开发了一个强化学习算法,利用可解释的嗅觉状态.
- 使用现实的乱气味线索训练了代理,并引入了时间记忆.
- 分析了气味羽毛稀疏度和特征定义的恢复策略的影响.
主要成果:
- 两个突出的嗅觉特征,分为几个状态,足以学习导航.
- 确定了一种最佳的记忆策略,忽略了气味空白,并采用了羽毛外的恢复策略.
- 学习的恢复策略,主要是横风造,反映了昆虫的行为,并显示了对环境变化的强度.
结论:
- 使用时间记忆进行强化学习,可以在动荡的环境中实现强大的嗅觉导航.
- 学习的策略,包括横风造,是有效和适应性的.
- 这种方法为生物嗅觉搜索提供了洞察力,并为自主搜索代理的设计提供了信息.
