DeepMind推出深度學習與強化學習進階課程（附視訊）
在 ofollow,noindex"> OpenAI推出強化學習課程 Spinning Up 後不久。昨天，DeepMind與 UCL 合作推出了一門深度學習與強化學習進階課程，以線上視訊形式呈現。該課程共有 18 節課，每節課都長達 1 小時 40 分鐘，內容從深度學習框架 TensoFlow 的介紹到構建遊戲智慧體，可謂全面。
課程地址：https://www.youtube.com/playlist?list=PLqYmG7hTraZDNJre23vqCGIVpfZ_K2RZs
該課程最初在倫敦大學學院（UCL）進行，為方便線上觀看進行了錄影。多位DeepMind的研究人員、UCL 教師參與了課程的設計。
參與課程製作的DeepMind/UCL 團隊
課程由兩部分組成，一是包含 深度神經網路 的機器學習，二是利用強化學習進行預測和控制，兩個部分相互穿插。在探討深度學習的過程中，這兩條線交匯在一起，其中的 深度神經網路 被訓練為強化學習背景下的函式逼近器。
課程中的深度學習部分首先介紹了神經網路及使用TensorFlow 的監督學習，接下來探討了卷積神經網路、迴圈神經網路、端到端及基於能量的學習、優化方法、無監督學習、注意力及記憶。涉及的應用領域包括目標識別和自然語言處理。
第一課視訊截圖
深度強化學習部分介紹了馬爾科夫決策過程、 動態規劃 、無模型預測與控制、值函式近似、策略梯度方法、學習與規劃整合、探索/利用困境等。涉及的應用領域包括學習玩經典棋盤遊戲或電子遊戲等。
第一課視訊：
從第一課來看，本課程將講解DeepMind的 AI 方法，深度強化學習在雅達利、AIphaGo 等遊戲中的應用。
課程目錄
深度學習1：基於機器學習的人工智慧簡介
深度學習2：TensorFlow 簡介
深度學習3：神經網路基礎
強化學習1：強化學習簡介
強化學習2：探索和利用
強化學習3：馬爾科夫決策過程及 動態規劃
強化學習4：無模型預測與控制
深度學習4：影象識別之外、端到端學習、嵌入
強化學習5：函式逼近及深度強化學習
強化學習6：策略梯度及 Actor Critic 演算法
深度學習5：用於機器學習的優化
強化學習7：規劃與模型
深度學習6：用於自然語言處理的深度學習
強化學習8：深度強化學習進階主題
深度學習7：深度學習中的注意力與記憶
強化學習9：深度強化學習智慧體概覽
深度學習8：無監督學習和生成模型
強化學習10：經典遊戲案例學習
課程門檻
當然，這樣一門進階課程也是有一定門檻的。授課者提到，去年就有很多人抱怨課程負擔太重。選這門課程的人需要懂 Python，還要有很多其他知識儲備。另外，由於授課者都是活躍在學界的頂級研究者，課程會直接延伸到當前的研究前沿。
教師寄語：做好準備，迎接挑戰！（brace yourselves！）