未加星标

DeepMind为明年的AAAI,准备了一份各种DQN的混血强化学习

字体大小 | |
[商业智能 所属分类 商业智能 | 发布者 店小二03 | 时间 | 作者 红领巾 ] 0人收藏点击收藏

DeepMind为明年的AAAI,准备了一份各种DQN的混血强化学习
网络
DeepMind为明年的AAAI,准备了一份各种DQN的混血强化学习
工具
DeepMind为明年的AAAI,准备了一份各种DQN的混血强化学习
算法
DeepMind为明年的AAAI,准备了一份各种DQN的混血强化学习
测试
DeepMind为明年的AAAI,准备了一份各种DQN的混血强化学习
商业智能
DeepMind为明年的AAAI,准备了一份各种DQN的混血强化学习
DeepMind

DeepMind公开了一篇最近投递到AAAI 2018的新论文,这篇论文的主角,依然是这家公司四年前就开始研究的DQN,配角,依然是雅达利(Atari)游戏。


DQN,全名Deep Q-Network(深度Q网络),是DeepMind在2013年NIPS Deep Learning Workshop发表论文提出的算法,让计算机有了靠视觉来玩雅达利游戏的新技能。


2015年,DeepMind完善了DQN,让这种算法在雅达利游戏上获得了更好的成绩,登上了Nature封面。


DeepMind为明年的AAAI,准备了一份各种DQN的混血强化学习

当然,这个算法之后也没有被闲置,DeepMind接连提出了DQN的各种优化版,虽然没有GAN变体那么多,但也足够让人眼花缭乱了。


哪种扩展性能更好?还有什么可以改进的地方?


DeepMind刚刚在arXiv上公开了最近投给AAAI 2018的论文,从DQN的诸多扩展中选择了6种,和原味DQN放在一起做比较了一下性能,还提出了一个新的变体:Rainbow。


DeepMind在论文中详细介绍了被选中的这6种扩展,共同点是他们自己都提出过相应的DQN变体。接下来,我们看一下论文中对它们分别做的简要介绍:


Double DQN通过解耦选择和引导动作的评估,解决了Q-learning估计偏差过高的问题;


优先体验重播(Prioritized DDQN)通过对能学到更多的过渡进行更多重播,提高了数据效率;


决斗网络架构(Dueling DDQN)通过分别呈现状态值和行为优势,来帮助在不同行为之间泛化;


A3C中所用的多步引导目标学习,可以改变方差折衷,将新观察到的奖励传播到早先访问的状态;


Distributional Q-learning(Distributional DQN)学习了折扣返回的类别分布,而不是估计平均值;


Noisy DQN使用随机网络层进行探索。


要详细了解这六种扩展,可以参考文末列出的论文地址,各取所需。


新变体Rainbow并没有在之前各种扩展的基础上,提出新的改动,而是将前面提到的6种变体整合到一起,成为一个单独的agent。


六种变体的混血Rainbow的性能和各位长辈相比如何呢?


DeepMind在arcade环境中,用57款雅达利2600游戏包括对原始DQN、DDQN、Prioritized DDQN、Dueling DDQN、A3C、Distributional DQN、Noisy DQN,以及Rainbow在内的所有agent进行了测试。


结果显示,Rainbow无论是在数据效能方面,还是在最终结果上,都明显优于各位长辈。


DeepMind为明年的AAAI,准备了一份各种DQN的混血强化学习

Rainbow与其他DQN变体的性能比较


上图中彩虹色的是混血Rainbow,灰色的是原味DQN。横轴表示训练用的帧数,纵轴表示算法在雅达利游戏上的“人类标准中位得分”,也就是agent的得分与中等水平的人类相比,是百分之多少。


用700万帧数据训练的Rainbow,性能就与原始DQN的较佳性能相当;经过44万帧的训练,Rainbow性能就超越了此前所有的DQN变体。


Rainbow的较佳性能与其他变体相比,也有显著的提升。在agent的最终测试中,训练结束后,Rainbow在以随机数开始游戏的模式下,中位得分为223%,在人类开始游戏的模式下,得分为153%。


除了和长辈比较之外,DeepMind还尝试了从Rainbow中分别去掉各种算法组件,看会对性能有怎样的影响。


DeepMind为明年的AAAI,准备了一份各种DQN的混血强化学习

Rainbow和缺失各种组件之后的性能比较


总的来说,去掉决斗网络或者Double Q-learning对Rainbow的性能没有多大影响。不过,将各个游戏分开来分析,我们可以看出,不同的游戏对于组件的需求不太一样。


DeepMind为明年的AAAI,准备了一份各种DQN的混血强化学习

缺失各种组件在不同游戏上对agent性能的影响


另外,DeepMind还记录了这些agent究竟有多少种游戏能超过中等水平人类。


DeepMind为明年的AAAI,准备了一份各种DQN的混血强化学习

Rainbow及其他DQN变体得分超过普通人类20%、50%、100%、200%、500%(从左到右)的游戏数目


上图第一行,是Rainbow与各种DQN变体的比较,第二行,是从Rainbow中分别去掉各种组件对agent性能的影响。


附:各种DQN论文


刚刚提交给AAAI 2018的Rainbow论文

Rainbow: Combining Improvements in Deep Reinforcement Learning


Matteo Hessel, Joseph Modayil, Hado van Hasselt, Tom Schaul, Georg Ostrovski, Will Dabney, Dan Horgan, Bilal Piot, Mohammad Azar, David Silver


https://arxiv.org/abs/1710.02298


2013年DQN首次提出

Playing Atari with Deep Reinforcement Learning


Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller


https://arxiv.org/abs/1312.5602


2015年的Nature论文

Human-level control through deep reinforcement learning


Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King, Dharshan Kumaran, Daan Wierstra, Shane Legg & Demis Hassabis


https://storage.googleapis.com/deepmind-media/dqn/DQNNaturePaper.pdf


Double DQN

Deep Reinforcement Learning with Double Q-learning


Hado van Hasselt, Arthur Guez, David Silver


https://arxiv.org/abs/1509.06461


Prioritized DDQN

Prioritized Experience Replay


Tom Schaul, John Quan, Ioannis Antonoglou, David Silver


https://arxiv.org/abs/1511.05952


Dueling DDQN

Dueling Network Architectures for Deep Reinforcement Learning


Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot, Nando de Freitas


https://arxiv.org/abs/1511.06581


A3C

Asynchronous Methods for Deep Reinforcement Learning


Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Timothy P. Lillicrap, Tim Harley, David Silver, Koray Kavukcuoglu


https://arxiv.org/abs/1602.01783


Distributional DQN

A Distributional Perspective on Reinforcement Learning


Marc G. Bellemare, Will Dabney, Rémi Munos


https://arxiv.org/abs/1707.06887


Noisy DQN

Noisy Networks for Exploration


Meire Fortunato, Mohammad Gheshlaghi Azar, Bilal Piot, Jacob Menick, Ian Osband, Alex Graves, Vlad Mnih, Remi Munos, Demis Hassabis, Olivier Pietquin, Charles Blundell, Shane Legg


https://arxiv.org/abs/1706.10295


欢迎加入本站公开兴趣群

商业智能与数据分析群

兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识

QQ群:418451831

分页:12
转载请注明
本文标题:DeepMind为明年的AAAI,准备了一份各种DQN的混血强化学习
本站链接:http://www.codesec.net/view/565596.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 商业智能 | 评论(0) | 阅读(31)