蘋果發文：全域性語義資訊能否改進神經語言模型？
用於訓練詞嵌入的大多數技巧是捕捉給定詞在句子中的區域性上下文，但當涉及全域性語義資訊時，此類嵌入的表達能力有限。然而，目前基於區域性上下文訓練的詞嵌入仍然是主流，那麼使用全域性語義資訊能否改善神經語言模型呢？蘋果的框架自然語言處理團隊對此進行了探討。全域性語義上下文能否改善 QuickType 鍵盤的詞預測？蘋果是否會將這一技術應用於實際生產？
在 iPhone 上輸入文字、發掘使用者可能感興趣的新聞、查明使用者遇到問題的答案，以及其他語言相關的任務都取決於穩健的自然語言處理（NLP）模型。詞嵌入是一類 NLP 模型，它在數學上將詞對映為數值向量。這種能力使得找到數值相似的向量或向量簇變得非常簡單，而後通過反向對映來得到相關的語言資訊。這些模型是 News、搜尋、Siri、鍵盤和 Maps 等常見應用程式的核心。本文將探討能否通過全域性語義上下文（global semantic context）改善 QuickType 鍵盤的詞預測。
簡介
你應該通過上下文去了解一個詞。
——語言學家 John Rupert Firth
如今，用於訓練詞嵌入的大多數技巧是捕捉給定詞在句子中的區域性上下文，也就是一個包含在所討論詞之前和之後相對少量（比如說 5 個）詞的視窗。例如，在《美國獨立宣言》中，詞「self-evident」就擁有區域性上下文，詞左邊是「hold these truths to be」，右邊是「that all men are created」。
本文介紹了這種方法的擴充套件版本，它是捕捉文件的整個語義上下文，例如整本《獨立宣言》。這種全域性語義上下文能否改善語言模型？我們首先來看目前詞嵌入的使用情況。
詞嵌入
以無監督方式訓練的連續空間詞嵌入對於各種自然語言處理（NLP）任務是非常有用的，如資訊檢索 [1]、文件分類 [2]、問答 [3] 和聯結主義語言建模 [4]。最基本的嵌入基於 1-N 編碼，即大小為 N 的基礎詞彙表中的每個詞都由 N 維稀疏向量來表示（詞的索引為 1，其他為 0）。更復雜的嵌入是將詞對映為低維連續空間上的密集向量。在維度減少的過程中，對映有效地採集到詞一定量的語義、語法和語用資訊。計算向量間的距離然後生成詞的相似性度量，這些都是無法僅僅通過詞本身去直接計算的。
有兩種基本的降維詞向量型別：
-
從詞的區域性上下文生成的表示（如前 L 個詞和後 L 個詞，其中 L 通常是一個小的整數）。
-
利用詞的全域性上下文生成的表示（如它所在的整個文件）。
利用區域性上下文的方法有：
-
使用神經網路架構的基於預測的方法 [5]，如連續詞袋模型和 skip-gram 模型。
-
源自聯結主義語言建模的投影層技術 [6]。
-
使用自編碼器配置的瓶頸表示 [7]。
利用全域性上下文的方法有：
-
全域性矩陣分解法，如潛在語義對映（latent semantic mapping，LSM），它使用詞—文件共現數 [8]。
-
對數線性迴歸建模，如 GloVe，它使用詞—詞共現數 [9]。
像 LSM 這樣的全域性共現計數法會形成被認為是真正語義嵌入的詞表示，因為它們公開了統計資訊，而這些資訊採集了整個文件傳達的語義概念。相比之下，使用神經網路的基於預測的典型解決方案僅封裝了語義關係，它們在一個以每個詞為中心的區域性視窗中出現（這是預測中使用的所有內容）。因此，當涉及全域性語義資訊時，由此類解決方案產生的嵌入本身的表達能力有限。
儘管有這種限制，研究人員仍然更多地採用基於神經網路的嵌入。特別是連續詞袋模型和 skip-gram（線性）模型，因為它們能夠傳達與「king is to queen as man is to woman」同一型別的詞類比。因為基於 LSM 的方法大多無法呈現這樣的詞類比，所以普遍的觀點是，由於向量空間的單個維度缺乏精確的含義，基於 LSM 的方法產生了一個次優的空間結構。
這種認識促使我們探索基於深度學習的替代方案能否比現有的 LSM 方法表現得更好。我們特別研究了是否可以通過使用不同型別的神經網路架構來實現更強大的語義嵌入。
在下一節中，我們將討論在 Apple QuickType 鍵盤上使用這些嵌入提高預測準確率所涉及的挑戰。我們回顧了我們所採用的雙向長短期記憶架構（bi-LSTM）。然後介紹了這種架構獲得的語義嵌入，及其在神經語言建模中的用途。最後，我們討論了從中獲得的見解以及對未來發展的看法。
神經架構
建立詞嵌入最有名的框架之一是 word2vec。我們決定研究一種可以提供全域性語義嵌入的神經網路架構，因此我們選擇 bi-LSTM 迴圈神經網路（RNN）架構。此方法允許模型訪問過去、現在與未來的輸入資訊，從而使得模型能夠採集全域性上下文。
我們設計了這個架構，使之能夠接受多達一個完整文件的輸入。至於輸出，它提供與文件相關聯的語義類別，如圖 1 所示。生成的嵌入不僅採集了詞的區域性上下文，該採集了輸入的整個語義結構。
該架構解決了兩個主要障礙。第一個障礙是對圍繞每個詞的有限大小視窗中包含的區域性上下文的限制，這個視窗用來預測輸出標籤。通過轉換為嵌入計算的雙向迴圈實現，該架構原則上能夠容納無限長度的左右上下文。這樣不僅可以處理句子，還可以處理整個段落，甚至是一整個文件。
圖 1：全域性語義嵌入的 RNN 架構。
第二個障礙與預測目標本身有關。到目前為止，所有的神經網路解決方案都可以預測上下文中的詞或區域性上下文，而這並不能充分反映全域性語義資訊。相反，圖 1 所示架構直接從輸入文字預測全域性語義類別。為了簡化語義標籤的生成過程，我們發現去獲得合適的聚類類別更加方便，例如，從使用 LSM [8] 獲得的初始詞—文件嵌入中獲得聚類類別。
讓我們仔細看看該網路是如何運作的。假設當前所考慮的文字塊（無論是句子、段落還是整個文件）由 T 個片語成 x(t)，1 ≤ t ≤ T，並且與語義類別 z 全域性相關。我們把這個文字塊作為雙向 RNN 架構的輸入。
輸入文字中的每個詞 x(t) 使用 1-N 編碼進行編碼，因此，x(t) 是 N 維的稀疏向量。左邊上下文的 H 維向量 h(t-1) 包含左邊上下文的內部表示，它來自於前一個時間步的隱藏層中的輸出值。右邊上下文的 H 維向量 g(t+1) 包含下一個時間步的隱藏層中的右邊上下文輸出值。該網路在當前時間步計算隱藏節點的輸出值：
h(t)=F{X⋅x(t)+W⋅h(t−1)}
g(t)=F{Y⋅x(t)+V⋅g(t+1)}
其中：
-
F{·} 表示啟用函式，如 sigmoid、雙曲正切或線性修正單元。（或者，純線性啟用函式可用來確保在詞類比上的良好效能。）
-
s(t) 表示網路狀態，它是左右上下文隱藏節點的級聯：s(t) = [g(t) h(t)]，維度是 2H。將此狀態看作是維度 2H 的向量空間中的詞 x(t) 的連續空間表示。
該網路的輸出是與輸入文字相關聯的語義類別。因此，在每個時間步中，對應於當前詞的輸出標籤 z 被編碼為 1-K，通過以下公式計算並獲得：
z=G{Z⋅[g(t)h(t)]}
其中：
-
G{·} 表示 softmax 啟用函式
在訓練該網路時，我們假設有一組可用的語義類別註釋。如前所述，這些註釋可能來自於使用 LSM 獲得的初始詞—文件嵌入。
為了避免典型的梯度消失問題，我們使用 LSTM 或門控遞迴單元（GRU）作為隱藏節點。此外，你可以根據需要將圖 1 所示的單個隱藏層擴充套件到任意複雜的、更深的網路。例如，兩個堆疊的 RNN 或 LSTM 網路在許多應用上取得了良好的表現，如語種識別。
語義詞嵌入
對於基礎詞彙表中的每個詞，給定每個文字塊（句子、段落或文件），我們要尋找的詞表示是與該詞相關的已訓練網路的狀態。當詞只出現在一個文字中時，我們使用對應的向量（維度是 2H）。如果一個詞出現在多個文字中，我們相應地求所有相關向量的平均值。
與 LSM 一樣，與特定語義類別密切相關的詞傾向於和代表該語義類別的維度一致。相反，功能詞（即「the」、「at」、「you」這樣的詞）傾向於聚集在向量空間的原點附近。
注意，可以通過迭代所獲得的連續語義嵌入和你想實現的語義粒度來細化初始語義類別集。
詞表外（OOV）的詞需要特殊處理，因為它們超出了 1—N 編碼範例。一種可能方法是為 OOV 分配一個額外的維度，使得輸入維度變為 1-(N+1)。網路的其餘部分保持不變。這樣的話，維度 2H 的單個向量最終是任意 OOV 詞的表示。
神經語言建模
在最初的實驗中，我們在一個約 7000 萬詞、維度 2H 為 256 的專用段落語料庫中訓練語義嵌入。然而，我們發現，即使在長度標準化的條件下，仍然難以處理每個輸入段落的長度顯著變化的情況。此外，在段落資料上訓練詞嵌入與在句子資料上訓練語言模型之間的不匹配似乎超過了新增全域性語義資訊帶來的好處。這與我們之前的觀察一致，即任何嵌入都是在將使用的確切資料型別上訓練得最好。通常，資料驅動的詞嵌入在任務中並不是可移植的。
因此我們決定在用於訓練 QuickType 預測型別神經語言模型的（句子）語料庫的一個子集上訓練嵌入。然後，我們在標準語言建模測試資料集上測量嵌入的質量，如表 1 所示。符號「1-of-N」表示我們的標準稀疏嵌入，而「word2vec」表示在大量資料上訓練的標準 word2vec 嵌入。
表 1：語言建模測試集上的困惑度結果（訓練語料庫的大小有變化，如圖所示）。
我們驚訝地發現，在少量資料上訓練的 bi-LSTM 嵌入與在更大（7 倍以上）資料上訓練的 word2vec 嵌入表現差不多。類似地，bi-LSTM 嵌入與在更大（5000 倍以上）資料上訓練的 one-hot 向量表現得一樣好。因此，我們提出的方法十分適合那些收集大量訓練資料耗時且昂貴的應用。
結論
我們評估了將全域性語義資訊納入神經語言模型中的潛在好處。由於這些模型本身是為區域性預測而設計優化的，因此它們無法正確利用可能十分相關的全域性資訊。利用全域性語義資訊通常有利於神經語言建模。然而，正如我們所發現的那樣，這種方法需要解決段落資料上訓練的詞向量與句子資料上訓練的語言模型之間的長度不匹配問題。
我們認為解決這個問題最好的辦法是修改語言模型訓練中使用的客觀標準，這樣我們就可以在同一段落資料上同時訓練嵌入和語言模型。目前，我們正在試驗一個多工目標，以同時預測語義類別（用來訓練語義嵌入）和下一個詞（用來訓練神經語言模型）。
總之，使用 bi-LSTM RNN 訓練全域性語義詞嵌入確實可以提高神經語言建模的準確率。它還可以大大減少訓練所需的資料量。
在未來，我們認為多工訓練框架有可能通過利用區域性和全域性語義資訊來實現兩全其美。
參考文獻
[1] C.D. Manning, P. Raghavan, and H. Schütze. Introduction to Information Retrieval. Cambridge University Press, 2008.
[2] F. Sebastiani. Machine Learning in Automated Text Categorization. ACM Computing Surveys, vol. 34, pp. 1–47, March 2002.
[3] S. Tellex, B. Katz, J. Lin, A. Fernandes, and G. Marton. Quantitative Evaluation of Passage Retrieval Algorithms for Question Answering. Proceedings of the 26th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 41–47, July–August 2003.
[4] H. Schwenk. Continuous Space Language Models. Computer Speech and Language, vol. 21, issue 3, pp. 492–518, July 2007.
[5] T. Mikolov, W.T. Yih, and G. Zweig. Linguistic Regularities in Continuous Space Word Representations. Proceedings of NAACL-HLT 2013, June 2013.
[6] M. Sundermeyer, R. Schlüter, and H. Ney. LSTM Neural Networks for Language Modeling. InterSpeech 2012, pp. 194–197, September 2012.
[7] C.Y. Liou, W.C. Cheng, J.W. Liou, and D.R. Liou. Autoencoder for Words.Neurocomputing, vol. 139, pp. 84–96, September 2014.
[8] J.R. Bellegarda. Exploiting Latent Semantic Information in Statistical Language Modeling. Proceedings of the IEEE, vol. 88, issue 8, pp. 1279–1296, August 2000.
[9] J. Pennington, R. Socher, and C.D. Manning. GloVe: Global Vectors for Word Representation. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp 1532–1543, October 2014.
原文連結： ofollow,noindex" target="_blank"> https://machinelearning.apple.com/2018/09/27/can-global-semantic-context-improve-neural-language-models.html