伯克利最新CS 294深度强化学习课来了

伯克利最新CS 294深度强化学习课来了8月22日到现在,从行为的监督学习,讲到了策略梯度和演员-评论家,前六节课的视频已经放出来了。有了基础的大家,来看一下CS294都会涉及哪些内容

大家好,欢迎来到IT知识分享网。

学习栗 发自 凹非寺 量子位 出品 | 公众号 QbitAI

伯克利最新CS 294深度强化学习课来了

开学了,终于可以名正言顺地学习了

今天才9月12日。不过,加州伯克利已经开课3周了。

深度强化学习课程CS 294-112,当然也不例外。

8月22日到现在,从行为的监督学习,讲到了策略梯度演员-评论家,前六节课的视频已经放出来了。

教授在这门课的主页上说,不是网课不是网课,但依然会把课件视频都挂在网上,还有直播

伯克利最新CS 294深度强化学习课来了

一周两节课,还好还好

当然,国内的各位同学,如果想守着直播,美国西部的时差可能还是有些深重。

反正油管可以回看。

学习,学习一会儿

要上这门深度强化学习,要先上过CS 189,那是机器学习基础课。

有了基础的大家,来看一下CS 294都会涉及哪些内容:

伯克利最新CS 294深度强化学习课来了

如上图,课程分为六大部分:

1. 从监督学习到决策2. 无模型算法:Q-学习,策略梯度,演员-评论家3. 模型学习和预测4. 探索5. 迁移与多任务学习,元学习6. 开放式问题,学术报告,其他教授来上课

和去年秋季CS 294的区别,就是把“探索 (Exploration) ”拎出来,单成一个版块,并且有两堂课专门用来讲这个问题。

没有任何已知信息的环境里面,AI要自己去探索世界,一切知识体系都是在试错过程中建立的。

伯克利最新CS 294深度强化学习课来了

蒙特祖玛的复仇:对强化学习非常不友好,奖励很复杂

而在探索过程中,更多的未知变为已知,就有了探索未知利用已知这两种选择。

机器需要取舍,是在已知范围之内,求取奖励最大化,还是跳出已知范围,寻找更大的奖励。

这是强化学习里,非常重要又非常复杂的一个问题。

不过,这门课要到后半学期,才会讨论到这个问题。那时候,想必大家的课业已经很紧张,还要分给它不小的精力,会很辛苦吧。

伯克利最新CS 294深度强化学习课来了

所以,先别想太远的事,看看最近。

9月7日,同学们刚刚上完的第六课,讲的是演员-评论家算法。

强化学习的训练是一个回合 (Episode) 一个回合进行的。如果只用策略梯度 (Policy Gradient) ,就只能在每回合结束时,更新一次策略。

但有了评论家 (Critic) 之后,演员 (Actor) 每走一步,评论家都会为它的行为打分

这样一来,每个行为的概率会发生变化,每一步的策略就会有更新。

这节课只是个Intro,看上去要友好许多。

伯克利最新CS 294深度强化学习课来了

第七课,即将发射 (放大看图更开心)

今天 (国内的明天凌晨) ,就又要上课了。第七课的标题是:价值函数和Q-学习。

压力提示:去年秋季的CS294,是把价值函数Q-学习分开,用两节课讲完的。

用的什么教材

虽然,教授也并没有按着哪本教材来上课,不过还是列了一个书单给大家参考。

伯克利最新CS 294深度强化学习课来了

第一本,是来自Ian Goodfellow等人的《深度学习》“花书”。

后面,可能就是对强化学习的小伙伴们,更有针对性的教材了:

Sutton & Barto, Reinforcement Learning: An Introductionhttp://incompleteideas.net/book/the-book-2nd.htmlSzepesvari, Algorithms for Reinforcement Learninghttp://www.ualberta.ca/~szepesva/RLBook.htmlBertsekas, Dynamic Programming and Optimal Control, Vols I and IIhttp://www.athenasc.com/dpbook.htmlPuterman, Markov Decision Processes: Discrete Stochastic Dynamic Programminghttp://www.wiley.com/WileyCDA/WileyTitle/productCd-0471727822.htmlPowell, Approximate Dynamic Programminghttp://adp.princeton.edu/

也推荐了网课

在CS 294的资源表里,教授还列出了一些网课。这样,同学们可以在课余时间,继续补课。

伯克利最新CS 294深度强化学习课来了

不止是补Hinton和吴恩达老师的课:

Geoff Hinton on Courserahttps://www.coursera.org/learn/neural-networksAndrew Ng on Courserahttps://www.coursera.org/learn/machine-learning/David Silver’s course on reinforcement learninghttp://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.htmlNando de Freitas’ course on machine learninghttps://www.cs.ox.ac.uk/people/nando.defreitas/machinelearning/Andrej Karpathy’s course on neural networkshttp://cs231n.github.io/

希望大家,都是不会厌学的好孩子。

教授是谁呢?

CS 294-112课程,是助理教授Sergey Levine在讲课。

伯克利最新CS 294深度强化学习课来了

曾经在谷歌大脑工作过的Levine,主要研究用于机器人操作的强化学习算法。

2016年,MIT科技评论选出了35位35岁以下的创新者,当年29岁的Levine赫然上榜。

2017年春季,CS 294首次开课,Levine是三位讲师之一。从那年秋季开始,他已经是这门课唯一的讲师了。

伯克利最新CS 294深度强化学习课来了

课程主页 (下拉有课件) :

http://rail.eecs.berkeley.edu/deeprlcourse/

课堂视频:

https://www.youtube.com/playlist?list=PLkFD6_40KJIxJMR-j5A1mkxK26gh_qg37

课堂直播:

https://www.youtube.com/c/CalESG/live

旧版课程 (Fall 2017) :

http://rail.eecs.berkeley.edu/deeprlcourse-fa17/index.html

伯克利最新CS 294深度强化学习课来了

p.s.伯克利的计算机楼,名字是真的清爽。

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ’ᴗ’ ի 追踪AI技术和产品新动态

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/59588.html

(0)

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信