學習時間！2019斯坦福CS224n、CMU NLP公開課視訊開放啦
你知道入門自然語言處理（NLP）的「標配」公開課 CS224n 麼，它和計算機視覺方面的課程 CS231n 堪稱絕配，它們都是斯坦福的公開課。但是自 2017 年以來，NLP 有了很多重大的變化，包括 Transformer 和預訓練語言模型等。以前開放的是 17 年年初的課程，很多激動人心的前沿模型都沒有介紹，而最近 CS224n 終於開始更新 19 年課程的視訊。
與此同時，CMU 的 NLP 公開課 CS 11-747 也一直在更新今年的授課視訊，它同樣介紹了近來 NLP 的主要發展。目前 CS 11-747 已經更新了 14 個課時，從詞嵌入、 注意力機制 到強化學習都有涉及。
以下展示了這兩項 NLP 公開課的資源地址，愛可可老師將視訊和字幕都上傳到了 B 站。
CS224n：
-
課程主頁：http://web.stanford.edu/class/cs224n/index.html
-
YouTube：https://www.youtube.com/playlist?list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z
-
Bilibili：https://www.bilibili.com/video/av46216519/
CS 11-747：
-
課程主頁：http://phontron.com/class/nn4nlp2019/
-
YouTube：https://www.youtube.com/playlist?list=PL8PYTP1V4I8Ajj7sY6sdtmjgkt7eo2VMs
-
Bilibili：https://www.bilibili.com/video/av40929856/
斯坦福 NLP 公開課
CS224n 是一門關於自然語言處理的專項課程，雖然有很多公開課都會涉及迴圈神經網路或語言建模等內容，但很少如它那樣會系統地介紹自然語言處理任務。包括 詞嵌入 、依存關係解析、神經機器翻譯、語音識別和語義消歧等。此外在 19 年的新課程中，它還會重點介紹最近非常流行的 Transformer 和預訓練表徵，這些系統化的新內容真的很令人期待。
CS224n 的主講教師為 Christopher Manning 與 Abigail See，其中 Manning 為斯坦福的機器學習教授，Abigail 為斯坦福的博士生。在 17 年的課程中，CS224n 採用的是TensorFlow，今年則採用更加簡潔的 PyTorch。不過今年並沒有專門介紹 PyTorch 的課時，所以還需要讀者預先學習 PyTorch。
CS224n 的課程筆記、PPT 資料以及作業都可以在主頁上獲取，目前 19 年課程就差最後的「NLP 未來發展」以及課程設計就完成了。課程視訊目前釋出了前 5 個，後面還會繼續釋出。因為這些視訊需要手動製作並校對字幕，而不是直接利用 YouTube 自動生成字幕，所以放出來的速度可能不會太快。
如下所示，前幾課主要介紹了詞嵌入和數學基礎，其中我們會發現傳統詞嵌入引入了很多新觀點。例如 NeurIPS 2018 的高分論文 On the Dimensionality of Word Embedding，其提出了一個理解詞嵌入維度的理論框架，從而學習合理的詞嵌入維度。
CMU NLP 公開課
該課程先簡單地概覽了 深度神經網路 ，隨後課程主體將介紹如何把神經網路用於各種 NLP 任務。每一部分都會介紹自然語言中的特定問題與現象，並描述這些問題的難點與一些優秀的解決方案。在整個課程中，我們將學到建立深度學習模型的各種技術，包括建模不同長度和結構的句子、處理大型自然語言資料、半監督和無監督學習、結構化預測和多語言建模等等。
CS 11-747 的授課老師主要有 Graham Neubig 和 Antonios Anastasopoulos，其中 Graham 是卡內基梅隆大學的教授，Antonios 是 CMU NeuLab 的博士後。19 年新課主要增了ELMo/BERT上下文詞表示、模型可解釋性等內容，同時還會提供 PyTorch/DyNet 程式碼示例。
目前該課程已經發布了 14 個視訊，它要到 4 月 30 號才結課。已完成章節的 PPT、示例程式碼和補充資料都可以在主頁上找到，視訊也在同步更新。因為拍攝的課程視訊使用自動字幕，所以視訊的更新速度非常快。但是更新快也會有侷限，有一些視訊拍攝的不夠精細，黑板上寫的東西看不清，且程式碼展示與講解有時候會被 PPT 遮擋。
最後，這兩個課程各有優勢，一起學習效果更佳～