資料集更大、訓練更快，Facebook改善ML的祕訣有哪些
來源：Facebook
編譯：Bing
編者按：機器翻譯是人工智慧在實際應用中的一個重要領域。在這篇文章中，Facebook的研究人員們展示了他們是如何讓機器翻譯速度變快，同時又能擴充套件應用的方法。
我們希望，使用者能用自己的母語體驗他們的產品，從而將全世界各地的使用者聯絡起來。為了這一目的，我們用神經機器翻譯（NMT）自動翻譯文章和評論的文字。此前有關這項工作的成果已經在fairseq上開源，這是一種序列到序列的學習庫，可以讓任何人訓練NMT、進行文字摘要總結或者其他文字生成任務。
隨著NMT在學習大型單一語種資料上的能力逐漸提高，追求更快的訓練速度成為了研究重點。為了這一目的，我們必須找到一種方法能顯著減少訓練時間。直到目前，在一臺機器上訓練這種型別的NMT模型都需要好幾周時間，這種速度顯然比較慢。
現在，經過對模型精確度和訓練設定的多種改變， ofollow,noindex">我們可以在32分鐘內訓練一個強大的NMT模型，速度比之前快了45倍 。
加速訓練
首先，我們的重點在如何減少模型的訓練時間，最終僅用了一個NVIDIA DGX-1和8個Volta GPUs就將之前將近24個小時的訓練時間減少到了5小時以下。神經網路通常含有數百萬個引數，可以在訓練時進行調整。這些引數通常會儲存在32位浮點數中。第一步，我們將訓練 從32位轉換成16位 ，從而減少GPU記憶體，並且能使用經過優化的NVIDIA Tensor Cores。用精度降低的浮點訓練有時會導致模型質量的降低，因為浮點的“溢位”。在我們的工作中，我們應用了一種常見的用於自動檢測和放置過載的技術，將訓練時間減少到了8.25個小時，速度快了2.9倍並且沒有使模型質量損失。
接下來，我們通過所謂的“ 累積更新（cumulative upgrade） ”來延遲模型的更新。我們對模型進行同步訓練，從而每個GPU保留著和模型一樣的副本，但處理訓練資料不同的部分。處理需要反向傳播，反向傳播在網路上分為前向傳遞和後向傳遞，以計算訓練模型所需的統計資料。處理完每個mini-batch後，GPU會將結果（梯度）同步互相傳遞。這種方法會導致潛在的低效： 首先 ，在GPU之間傳輸資料會消耗時間； 第二 ，速度快的單元要等待速度慢的單元才能繼續訓練。
後者是文字處理模型一個重要的挑戰，不同長度的句子會讓問題更嚴重，這一點在計算機視覺領域是體會不到的，因為訓練的影象通常大小相同。針對上面提到的兩個問題，我們的解決方法是拖延同步點，將多個mini-batch的結果聚集起來再傳播到各個處理單元中。這將訓練時間減少到了7.5個小時，沒有損失模型質量。
累積更新同樣增加了高效訓練的量，或者用於每個步驟訓練的資料。在我們的設定中，batch的大小增加了16倍，這是我們將學習率提高了一倍，從而讓訓練時間減少到了 5.2小時 。
最終，我們用多餘的GPU記憶體進一步擴大了batch的大小。通過將每個處理單元從原來的3500單詞增加到5000個單詞，我們能將整體的訓練時間減少到 4.9小時 ，是原來的4.9倍。
在多個機器上訓練
我們在單一機器上的訓練優化同樣可以應用在多機器訓練中（即分散式訓練）。將原本在單獨DGX-1機器上的訓練擴充套件到 16個機器 上時（有128個GPU），我們發現只需 37分鐘 就能訓練相同的模型，這是原來的38.6倍。
在多個機器上訓練時，另一種優化會使GPU交流和反向傳遞重疊。反向傳遞之後，我們獲得了在其他處理單元中交流所需要的資訊。通常來說，反向和交流是接連出現的，但是我們可以讓 二者重疊 從而節省時間。特別的，我們可以當反向步驟一在某個神經網路的子集中完成，就在多個處理單元中對梯度進行同步。GPU交流之後就會和反向傳遞重合。這就進一步減少了訓練時間，即達到了 32分鐘 。
在更多未翻譯的資料上訓練
將模型的訓練時間縮短後，我們又開始研究如何訓練模型在更大的資料集上工作。通常來講，訓練NMT模型需要有對應翻譯版本的資料，即雙語資料。但是這種資源十分有限，可用資料大多隻有一種語言。在我們的第二篇論文中（地址： http:// arxiv.org/abs/1808.0938 1 ），我們展示瞭如何讓模型在這種情況下工作，同時用大量資料訓練可以讓精確度有所提升。
其中提高NMT在單一語言資料上效率的技術之一就是反向翻譯（back-translation）。如果我們的目的是訓練一個英譯德的翻譯模型，那麼我們首先要訓練一個德譯英的模型，然後用它來訓練所有單一德語的資料。之後把英譯德模型在現有和新資料上進行訓練。我們的論文表明，資料如何翻譯是很重要的，在取樣過程中並不總是選擇最佳翻譯版本是很有用的。
如果我們在現有的500萬條句子中加入2.26億條反向翻譯的句子，那麼模型翻譯質量會得到顯著提高。下方的表格就展示了系統的精確度在不同資料上的表現。
更快的翻譯
我們同樣改善了翻譯速度，模型一經訓練好，fairseq就能翻譯出來。尤其是我們使用了智慧快取，或者從計算中算出了一經完成的句子，並且分批處理單詞數量而不是句子。這將翻譯速度提高了將近60%。下方圖表就展示了各種方法的對比。
結語
繼續提升自動翻譯技術仍然是我們的研究重點，希望未來有更多發現能讓訓練速度更快，這樣就可以推動實驗的迭代次數，讓NMT模型的發展更快。我們還希望未來能用無標記資料解決翻譯之外的問題，例如問答或文字總結。