不負其名OpenAI，GPT-2模型階段性公佈……
更大的GPT-2模型已經可用了，你還在等什麼呢？
幾個月前，OpenAI 釋出了強大的通用語言模型 GPT-2 ，而在宣佈這個好訊息沒多久之後，它又宣佈要與開源「say goodbye」。理由是：GPT-2太好用了！要是不小心被壞人利用怎麼辦？？
對於這個理由，廣大吃瓜群眾表示：呵呵……
說正經的，對於這個理由，AI 社群是無法接受的。自OpenAI 表示不開源的理由之後，Reddit 上就掀起了明嘲暗諷的血雨腥風……
機器學習社群發起了一個暗諷GPT-2的帖子：為了防止濫用，我是不是不應該公佈在 MNIST 訓練的 23064 層殘差網路？
除了這種明顯的嘲諷，還有理性的機器學習人士認真地陳述了自己反對OpenAI 這種做法的理由：條理清晰，有理有據，在 reddit 上獲得大量支援（詳情請看「 OpenAI 被諷 ClosedAI？語言模型並沒有想象中的強大 」）。
可能是反對的浪潮比較大，也可能是因為被人家說的理由戳中了。總之，OPenAI 最近開始開放GPT-2模型。
OpenAI 在其部落格上表示：
我們正採用兩種機制來發布GPT-2：分階段釋出和基於夥伴關係的共享。作為分階段釋出的下一步，我們將先公佈引數為 3.45 億的模型。而對於致力於提高大型語言模型的 AI 和安全社群合作伙伴，我們將與之分享 7.62 億和 15 億引數的模型。
也就是說，OpenAI 準備逐步一點點公開 GPT-2 模型，或者基於合作伙伴的關係給對方分享更大引數的模型。對此，OpenAI 同樣給出了自己的理由。
分階段釋出
分階段釋出包括一系列模型的逐步釋出。這樣做的目的是給人們足夠的時間來評估這些模型的特性，討論其社會影響，並評估每次釋出帶來的影響。
作為分階段釋出策略的下一步，OpenAI 將釋出 3.45 億引數的模型。相比 1.17 億引數的模型，這個版本的模型效能有所提高，但在生成連貫文字的能力方面，它還不及 15 億引數的模型。
雖然相比 1.17 億引數的模型，3.45 億版本被濫用的風險更高，但這還是比 15 億版本的風險要低多了。而且，OpenAI 認為，很多人已經有能力獲得 3.45 億版本需要的訓練系統。這種不斷髮展的復現環境也為其釋出決策提供了參考。
決定釋出 3.45 億引數的模型時，OpenAI 考慮了以下因素：（不同使用者）生成連貫文字的不同尺寸模型的易用性、人類在文字生成過程中的作用、未來被其他人復現和釋出的可能性和時間、被濫用的可能性、關於不可觀察使用的專家知情推論等。OpenAI 仍無法確定其中一些因素，並且希望機器學習社群能夠繼續給出關於正確釋出模型的建議。
OpenAI 希望正在進行的關於偏見、檢測和濫用的研究能夠給予其及時釋出更大模型的信心。六個月之後，他們將分享關於語言模型社會影響的更全面分析以及對釋出決策的啟發。
基於合作伙伴的分享
自 2 月份釋出GPT-2並宣佈不將其開源以來，OpenAI 和諸多外部研究人員、科技公司以及政策制定者就其釋出策略和日益龐大的語言模型的影響進行了對話。他們還在活動中介紹和討論了其研究，包括與 Partnership on AI 組織共同舉辦的晚宴活動和在華盛頓 DC 全球參與中心（Global Engagement Center）向政策制定者做的展示活動。
現在，OpenAI 正與學術機構、非盈利組織、工業實驗室建議合作伙伴關係，這些組織機構都致力於提高社會對大型語言模型的準備程度。OpenAI 與這些組織分享了 7.62 億引數和 15 億引數的模型，以促進對語言模型輸出檢測、語言模型偏差分析和緩解以及模型濫用可能性分析的研究。
雖然，對於機器學習社群的廣大研究者來說，當前能用的GPT-2模型不是很大，但好歹是能用了，而且以後會放出更大的模型。這下，OpenAI 終於不負其名了。
參考來源：https://openai.com/blog/better-language-models/#update