强化学习用于自动驾驶系统的在线测试:复制和扩展研究

科学领域:

• 软件工程 软件工程 软件工程
• 人工智能的人工智能
• 自主系统 自主系统

背景情况:

• 深度神经网络 (DNN) 系统,特别是自动驾驶系统 (ADS),需要强大的在线测试.
• 之前的研究表明,强化学习 (RL) 与多目标搜索相结合,在测试DNN支持系统方面表现出色.
• 复制之前的工作显示RL在相同条件下没有超过随机搜索,这表明有混因素.

研究的目的:

• 复制和扩展先前对RL的经验研究,用于在线测试自动驾驶系统 (ADS).
• 调查和解决RL在复制中表现不佳的潜在原因,重点关注奖励函数设计和状态空间分类.
• 为更有效的在线ADS测试开发和评估一个改进的RL剂.

主要方法:

• 一项现有研究的复制,比较了强化学习 (RL),随机搜索和多目标搜索,用于在线测试自动驾驶系统 (ADS).
• 修改实验设置以消除碰撞测量中的混因素.
• 扩展涉及开发一种新的RL代理,旨在处理连续状态空间并减轻相互冲突的奖励信号.

主要成果:

• 复制证实,当消除混因素时,RL并没有超过随机搜索.
• 扩展研究表明,新开发的RL剂成功地汇聚到有效的政策中.
• 改进的RL代理在自动驾驶系统 (ADS) 在线测试中显著优于随机搜索.

结论:

• 在线ADS测试的RL的有效性对奖励函数设计和状态空间表示非常敏感.
• 解决这些因素可能会导致RL代理显著优于随机搜索等传统方法.
• 需要进一步的研究来优化RL策略,用于自动驾驶系统的先进在线测试.