可怕！當AI學會一本正經胡說八道，OpenAI放出逆天語言AI模型
智東西（公眾號：zhidxcom）
文 | 寓揚 心緣
今天，OpenAI在大洋彼岸推出了一個重磅AI語言模型，編起故事來已經達到以假亂真的地步，完全讓人看不到背後竟然是一個AI。
不信你看！
當人類隨意告訴AI一句資訊：今天，一輛載有核材料的火車車廂在Cincinnati被盜，至今下落不明。
AI便順著這一情景，一本正經的創作了：
事故發生在市中心的火車線路上，該線路往返至Covington和Ashland車站之間。
在一封發給俄亥俄州新聞媒體的電子郵件中，美國能源部表示，他們正在與聯邦鐵路管理局合作，尋找竊賊。
“這些核材料被盜，將會對公眾、環境健康、我們的勞動力和國家的經濟產生重大負面影響”，美國能源部長Tom Hicks在一份宣告中表示，“我們的首要任務是確保盜竊物品的安全，確保此類事情不再發生。”
▲GPT-2編造的新聞
一篇假新聞就這麼誕生了！然而卻寫的文筆流暢、毫無違和感，讓身為文字寫作者的我感到汗顏。
OpenAI在推特上表示，這是他們訓練的一個無監督語言模型，它可以生成連貫的段落，進行閱讀理解、機器翻譯、問答、撰寫摘要等，並且所有這些都不需要特定任務的培訓。
它的名字叫GPT-2，讓我們一起看下這個語言模型背後的魅力吧。
一、逼真的AI段子手
幾個月前谷歌推出BERT語言模型，其3億引數重新整理了11項紀錄，引行業一片關注後。
而今天OpenAI推出了一個大規模的無監督語言模型，將其命名為GPT-2。它具有來自800萬個網頁的15億資料集，其訓練目標就是基於前面給定的文字，從而預測接下來的文字。
正是資料集的多樣性，使得這個簡單的目標可以很自然的應用在跨領域中，這也是它可以應用在“文字創作”的一個原因。
另一個重點是，GPT-2是一個無監督語言模型，它可以生成連貫的文字段落，並進行閱讀理解、機器翻譯、問答和撰寫摘要，並且所以這些AI能力都不需要特定任務的訓練，這可謂是當下AI應用的一大進步。
至於GPT-2效果到底如何，前文已經展示了它寫新聞的能力，我們不妨再來看看它講故事的能力。
同樣人類給出一個提示：科學家們有一個震驚的發現，在安第斯山脈的一個偏遠且從未探索過的山谷中，生活著一群獨角獸。更讓人震驚的是，獨角獸的英語說得非常好。
於是，AI寫手又開始創作了：
科學家曾用它們獨特的角來命名這個種群，叫奧維德獨角獸。這些四角銀白色的物種以前並不為科學界所知。
在經過近兩個世紀後，現在，這一謎團終於揭曉。
拉巴斯大學的進化生物學家Jorge Pérez博士和他的幾位同伴在探索安第斯山脈時，他們發現了一個沒有人的小山谷。Jorge Pérez注意到這個山谷有一個天然噴泉，被兩個山峰包圍著。
······
Pérez和他的朋友們看到這群獨角獸感到非常驚訝，這些生物可以從空中看到，而不需要移動太多——它們離的非常近，以至於可以觸控到它們的角。
當研究這些奇異的生物時，科學家們發現它們可以說一些相當標準的英語。······
Pérez認為，獨角獸可能起源於阿根廷，那裡的動物被認為是一個失落的種族的後代，這個種族在人類到達南美洲之前就生活在那裡。
雖然，這些生物的起源仍不清楚，但有些人認為，這些生物可能存在於人類文明之前的某個時期，在人類和獨角獸相遇時創造出來的。根據Pérez的說法，“在南美洲，這樣的時間似乎相當普遍”。
······
▲GPT-2編造的故事全文
假如你不知道這是一個AI在“胡說八道”，讀完這段話，你是什麼反應？
在講故事時，有起因，有經過，有結果，有大咖做背書論證，AI已經學習到了講故事的能力。如果不去吹毛求疵細節，從流暢度來說，AI講故事的能力已經快趕上普通大眾了。
推特上少網友表達了對這一文字生成器的稱讚，但也有網友表達了對AI帶來的假新聞、惡意訊息的擔憂，稱“又一個重要的潘多拉魔盒被打開了”。
▲深度學習之父Hinton的評論
深度學習之父Hinton也在推特上評論道，這應該能讓矽谷的獨角獸們生成更好的英語了。
二、雖然是通用模型，但專業技能可能讓語文老師失業
從技術維度來說，GPT-2就是一個AI文字合成器，當你輸入一句話時，該模型就像變色龍一樣，生成合適的文風與內容，就如同上文展示的那樣。
該模型以無監督的方式在大型資料集上訓練了一個 Transformer， 然後為了獲取更好的樣本 ， 會在更小的監督資料集上 ， 對已生成的模型進行微調 ， 使得模型更好地適配特定任務。最終測試者輸入任意文字給 GPT-2， 該模型就能為它續寫出一段堪比人類寫手的文字。
這源於GPT-2擁有15億個引數，這可是相當龐大的引數量，此前打破11項NLP記錄的谷歌最強NLP模型BERT的引數量也不過為3.3億。
GPT-2是一個基於 transformer的大型語言模型，它是GPT（GPT-2的上一代）模型的擴充套件版本，其引數和資料量均比GPT模型超出10倍。
該模型的資料集高達40GB，來源於800萬個網際網路文字。由於資料集的多樣性，根據輸入內容編寫故事只是GPT-2龐大的技能樹中的一個枝丫，如果細數GPT-2的專業技能，那可是能讓語文老師失業的存在。
例如，在無需使用相關資料集的前提下，GPT-2還能在某些特定領域（如維基百科、新聞或書籍）訓練其他語言模型。
這種設定被稱之為“zero-shot”，OpenAI的部落格上給出了在這種設定下GPT-2在多個語言任務上所取得的當前最佳成績。
▲GPT-2 在 Winograd Schema、LAMBADA 和其他語言建模任務中達到了當前最佳結果。其中，（+）表示該領域得分越高越好，（-）表示得分越低越好。
此外，在知識問答、閱讀理解、總結和翻譯等語言任務上，GPT-2也都可以從原始文字開始學習，並在文字連貫性、流暢性取得不錯表現，而不需要使用特定任務的訓練資料。
但這一語言模型也存在許多不同，有時候會出現文字重複、建模失敗以及不自然的主題切換等問題，比如該模型有時候會寫出“火在水下發生”這樣的錯誤語句。這些都是NLP領域一直在努力突破的熱點問題。
雖然這些下游任務尚未達到最優水平，但GPT-2表明，如果有足夠的（未標註）資料和算力，這些任務均可通過無監督技術取得非常好的結果。
三、一面天堂，一面地獄
這樣一個全能型通用語言模型，將會對社會產生怎樣的影響呢？
OpenAI給了一些應用方向，比如AI寫作助手、無監督語言翻譯、更強大的對話機器人、更好的語音識別系統等。
但是，任何先進技術都是一把雙刃劍。OpenAI已經開始擔憂它可能造成的一些負面影響。
無論是生產虛假新聞、偽造資訊、冒充他人、誹謗，還是生成垃圾或釣魚郵件，都將對網路環境造成極為惡劣的汙染。
網民們不得不升級自己的判斷能力，對線上文字內容保持更謹慎的懷疑態度，這可能會引發更大的信任危機。
因為擔心這一新的技術創新會被人惡意利用，在尚無更好應對措施的情況下，OpenAI決定“僅釋出 GPT-2 的較小版本和示例程式碼，不釋出資料集、訓練程式碼和 GPT-2 模型權重”。
這意味著這一模型並不完全開源，圍觀群眾們只能瞻仰這個模型表現有多逆天，卻難以做到完全復現。
在如今全球鼓勵開源和共享的大潮中，這一不開放完整模型的決定不出意外地引發一些質疑。
Facebook AI首席科學家、深度學習大牛Yann LeCun就在推特上點讚了Kyunghyun Cho的吐槽：“要是這樣，我感覺我有義務刪除迄今為止自己公開的所有模型權重了。”
來自英偉達機器學習研究負責人Anima Anandkumar的態度更加激烈，直接罵出“Malicious BS（惡意個鬼）”，指責OpenAI站在開源的對立面上，批評它“炒作+傳播恐慌+阻礙復現”。
隨著AI的深入發展，如何平衡道德與技術的爭議又再一次擺在我們眼前，值得深思。
附OpenAI部落格連線
https://blog.openai.com/better-language-models/#sample2
附OpenAI非監督語言模型論文連線
https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf