幾千條文字庫也能做機器學習！NLP小資料集訓練指南
作為資料科學家，為你的問題選擇正確的建模方法和演算法應該是你最重要的技能之一。
幾個月前，我致力於解決一個文字分類問題，關鍵在於判斷哪些新聞文章與我的客戶相關。
我只有一個幾千條帶標註的新聞資料集，所以我從簡單的經典機器學習建模方法開始著手解決這個問題，例如用TF-IDF來做Logistic迴歸分類。
一般說來，這些模型適用於長文件（如新聞、部落格文章等）的文字分類，然而在我這個任務上的執行效果卻不盡如人意，僅僅略好於隨機分類。
在研究了一番模型錯在哪裡之後，我發現詞袋模型（bag of words）這種表示方法對於這個任務是不夠的，我需要一個能深入理解文件語義的模型。
深度學習模型在需要深入理解文字語義的複雜任務上已經表現出了非常好的效果，例如機器翻譯，自動問答，文字摘要，自然語言推理等。
這看起來對我的任務而言是一個很完美的方法，但是為了訓練深度學習模型通常需要數十萬甚至數百萬個被標記的資料，而我只有一個很小的資料集。怎麼辦呢？
通常，我們需要大量資料來訓練深度學習模型目的在於避免過擬合。深度神經網路具有非常非常多的引數，因此如果沒有用足夠的資料去訓練它們，它們往往會記住整個訓練集，這就會導致訓練的效果很好，但在測試集上的效果就很差了。
為了避免因缺乏大量資料而導致的這種情況，我們需要使用一些特殊的技巧！一擊必殺的技巧！
在這篇文章中，我將展示一些由我自己開發或是我在文章、部落格、論壇、Kaggle和其他一些地方發現的方法，看看它們是如何在沒有大資料的情況下讓深度學習更好地完成我的任務的。其中許多方法都基於計算機視覺中廣泛使用的最佳實踐。
一個小小的免責宣告：我並不是一個深度學習方面的專家，這個專案也只是最初幾個我用深度學習完成的大專案之一。這篇文章的所有內容都是對我個人經驗的總結，有可能我的方法並不適用你的問題。
正則化
正則化方法以不同的形式呈現在機器學習模型中，它可以被用來避免過擬合。這些方法的理論性很強，對於大多數問題來說是一種普遍通用的方式。
L1和L2正則化
這些方法可能是最古老的，並且在許多機器學習模型中已經使用多年。
使用這種方法時，我們將權重的大小新增到我們試圖最小化的模型損失函式中。這樣，模型將盡量使權重變小，同時那些對模型影響不明顯的權重值將被減小到零。
通過這種方式，我們可以使用更少數量的權重來記住訓練集。
更多細節：
https://towardsdatascience.com/only-numpy-implementing-different-combination-of-l1-norm-l2-norm-l1-regularization-and-14b01a9773b
Dropout
Dropout是另一種較新的正則化方法。它具體的做法是在訓練期間，神經網路中的每個節點（神經元）按照P的概率被丟棄（即權重被設定為零）。這樣，網路就不會依賴於特定的神經元和他們之間的相互作用，而必須在不同的部分學習每一種模式。這就使得模型專注於學習那些更易於適用到新資料的重要模式。
Early stopping
Early stopping是一種簡單的正則化方法，只需監控驗證集效能，如果你發現驗證集效能不再提高，就停止訓練。這種方法在沒有大資料的情況下非常重要，因為模型在5-10次甚至更少次數的迭代之後，通常就開始出現過擬合了。
減少引數的數量
如果你沒有大型資料集，那你就應該謹慎設計網路中的層數和每層的神經元數量。 此外，向卷積層這樣的特殊層比全連線層具有更少的引數，所以如果可能的話，使用它們會非常有用。
資料增強
資料增強是一種通過更改訓練資料而不改變資料標籤的方式來建立更多訓練資料的方法。 在計算機視覺中，許多影象變換的方法被用於資料集大小進行擴增，例如翻轉、裁剪、縮放、旋轉等。
這些變換對於影象型別的資料很有用，但不適用於文字，譬如翻轉出像“狗愛我”這樣無意義的句子，用它來訓練模型的話將不會有什麼效果。以下是一些針對文字的資料的增強方法：
同義詞替換
在這種方法中，我們隨機的選一些詞並用它們的同義詞來替換這些詞，例如，我們將句子“我非常喜歡這部電影”改為“我非常喜歡這個影片”，這樣句子仍具有相同的含義，很有可能具有相同的標籤。但這種方法對我的任務來說沒什麼用，因為同義詞具有非常相似的詞向量，因此模型會將這兩個句子當作相同的句子，而在實際上並沒有對資料集進行擴充。
回譯
在這個方法中，我們用機器翻譯把一段英語翻譯成另一種語言，然後再翻譯回英語。這個方法已經成功的被用在Kaggle惡意評論分類競賽中。
例如，如果我們把“I like this movie very much”翻譯成俄語，就會得到“Мне очень нравится этот фильм”，當我們再譯回英語就會得到“I really like this movie”。回譯的方法不僅有類似同義詞替換的能力，它還具有在保持原意的前提下增加或移除單詞並重新組織句子的能力。
文件裁剪
新聞文章通常很長，在檢視資料時，我發現對於分類來說並不需要整篇文章。 而且，我發現文章的主要想法通常會重複出現。
這讓我想到將文章裁剪為幾個子文章來實現資料增強，這樣我將獲得更多的資料。開始的時候我嘗試從文件中抽取幾個句子並建立10個新文件。這些新建立的文件句子間沒有邏輯關係，所以用它們訓練得到的分類器效能很差。第二次，我嘗試將每篇文章分成若干段，每段由文章中五個連續的句子組成。這個方法就執行得非常好，讓分類器的效能提升很大。
生成對抗網路
GAN是深度學習領域中最令人興奮的最新進展之一，它們通常用來生成新的影象。下面這篇部落格解釋瞭如何使用GAN進行影象資料的資料增強，但它的一些方法或許也可以適用於文字資料。
部落格連結： sarial-networks-for-data-augmentation-experiment-design-2873d586eb59" rel="nofollow,noindex" target="_blank">https://towardsdatascience.com/generative-adversarial-networks-for-data-augmentation-experiment-design-2873d586eb59
遷移學習
遷移學習是指使用為其他任務訓練的網路引數來解決你自己的問題，這些網路引數通常是用大性資料集訓練得到的。遷移學習有時被用作某些層的初始化，有時也直接被用於特徵提取讓我們免於訓練新模型。在計算機視覺中，從預先訓練的ImageNet模型開始是解決問題的一種常見的做法，但是NLP沒有像ImageNet那樣可以用於遷移學習的大型資料集。
預訓練的詞向量
一般應用於自然語言處理的深度學習網路架構通常以嵌入層（Embedding Layer）開始，該嵌入層將一個詞由獨熱編碼（One-Hot Encoding）轉換為數值型的向量表示。我們可以從頭開始訓練嵌入層，也可以使用預訓練的詞向量，如 Word2Vec、FastText 或 GloVe。
這些詞向量是通過無監督學習方法訓練大量資料或者是直接訓練特定領域的資料集得到的。
預訓練的詞向量非常有效，因為基於大資料它們給模型提供了詞的上下文並減少了模型的引數，從而顯著地降低了過擬合的可能性。
更多有關詞嵌入的資訊： https://www.springboard.com/blog/introduction-word-embeddings/
預訓練的句向量
我們可以將模型的輸入從單詞轉換為句子，用這種方法我們得到引數少並且效能好的簡單模型。為了做到這一點，我們可以使用預訓練的句子編碼器，如 Facebook 的InferSent或谷歌的通用句子編碼器。
我們還可以把資料集中未打標的資料用 skip-thought 向量或語言模型等方法訓練句子編碼器模型。
更多有關無監督句子向量的資訊： https://blog.myyellowroad.com/unsupervised-sentence-representation-with-deep-learning-104b90079a93
預訓練的語言模型
最近很多論文運用大量語料庫預訓練語言模型來處理自然語言任務得到了驚人的結果，如ULMFIT，Open-AI transformer和BERT。語言模型是通過前面的單詞預測句子中會出現的下一個單詞。
這種預訓練並沒有對我取得更好的結果起到真正的幫助，但文章給出了一些我沒有嘗試過的方法來幫助我做更好地微調。
一個關於預訓練語言模型很棒的部落格： http://ruder.io/nlp-imagenet/
預訓練無監督或自監督學習
如果掌握大量無標籤資料，我們可以使用無監督的方法如自動編碼器或掩碼語言模型去訓練模型，這樣僅僅依靠文字本身就可以做到。
對我來說另一個更好的選擇是使用自監督模型。自監督模型可以在沒有人工標註的情況下自動提取標籤。Deepmoji專案是一個很好的例子。
在Deepmoji專案中，作者們訓練了一個預測推文中表情符號的模型，在模型表現良好的情況下，他們使用網路預先訓練了一個推文者的情緒分析模型來獲取表情符號預測模型的狀態。
表情符號預測和情緒分析顯然非常相關，因此它作為預訓練任務表現得非常好。自監督在新聞資料中的運用包括預測標題，報刊，評論數量，轉發數量等。自監督是一種非常好的預訓練方法，但通常很難分辨出代理標籤與真實標籤的關聯。
使用現成的網路進行預訓練
在很多公司中，大部分用於不同任務的機器學習模型都建立在相同的資料集或類似的資料集上。例如推文，我們可以預測其主題、觀點、轉發數量等。最好通過已經成熟應用的網路預先訓練你的網路。對我的任務而言，應用這個方法確實可以提高效能。
特徵工程
我知道深度學習“殺死”了特徵工程，再談特徵工程已經有點過時了。但是當你沒有大量資料時，通過特徵工程幫助網路學習複雜模式可以大大提高效能。例如，在我對新聞文章的分類過程中，作者、報刊、評論數、標籤以及更多特徵可以幫助預測標籤。
多模式體系結構
我們可以用多模式體系結構將文件級特徵組合到我們的模型中。在多模式體系結構中，我們構建了兩個不同的網路，一個用於文字，一個用於特徵，合併它們的輸出層（無 softmax）並新增更多層。這些模型很難訓練，因為這些特徵通常比文字具有更強的訊號，因此網路主要受特徵的影響。
關於多模式網路很棒的Keras教程： https://medium.com/m/global-identity?redirectUrl=https://becominghuman.ai/neural-networks-for-algorithmic-trading-multimodal-and-multitask-deep-learning-5498e0098caf
這種方法使我的模型提高了不到1％的效能。 
詞級特徵
詞級特徵是另一種型別的特徵工程，如詞性標註，語義角色標記，實體抽取等。我們可以將一個獨熱編碼表示或一個詞特徵的嵌入與詞的嵌入相結合並將其用作模型的輸入。
我們也可以在這個方法中使用其他詞特徵，例如在情感分析任務中我們可以採用情感字典並新增另一個維度嵌入其中，用 1 表示在字典中的單詞， 0 表示其他單詞，這樣模型可以很容易地學習它需要關注的一些詞。在我的任務中，我添加了某些重要實體的維度，這給模型帶來了一個很好的效能提升。
特徵工程預處理
最後一種特徵工程方法是以一種模型更容易學習的方式預處理輸入文字。一個例子是“詞幹提取”，如果運動並不是一個重要標籤，我們可以用運動代替足球，棒球和網球這些詞，這將有助於神經網路模型瞭解到不同運動之間的差異並不重要，可以減少網路中的引數。
另一個例子是使用自動摘要。正如我之前所說，神經網路在長文字上表現不佳，因此我們可以在文字上執行自動摘要演算法，如 TextRank 並僅向神經網路網路提供重要句子。
我的模型
嘗試了本文中討論的方法的不同組合後，在我的專案中表現最好的模型是本文中提到分層注意力網路（HAN），模型使用dropout 和 early stopping 作為正則化，並採用文件剪裁的方法進行資料集增強。我使用預訓練的詞向量以及我公司的一個預訓練網路（這個網路使用了同樣資料，只是針對的任務不一樣）。
在做特徵工程時，我新增了實體詞級特徵到詞嵌入向量。這些變化使我的模型精確度提高了近 10％，模型效果從比隨機效果稍好一點上升到了到具有重要業務價值的水準。
深度學習在小資料集上的應用仍處於該研究領域的早期階段，但看起來它越來越受歡迎，特別是對於預訓練的語言模型，我希望研究人員和從業者能夠找到更多的方法使用深度學習，讓每一個數據集產生價值。