《用於方面級別情感分析的位置資訊雙向注意網路》閱讀筆記
原文： A Position-aware Bidirectional Attention Network for Aspect-level Sentiment Analysis
連結：
A Position-aware Bidirectional Attention Network for Aspect-level Sentiment Analysis - Semantic Scholar www.semanticscholar.org
From：Colling 2018
一、本文創新點：
1、當一個方面詞出現在一個句子中時，對臨近的詞賦予更高的權重；
2、提出了一種基於雙向GRU的位置感知雙向注意網路(PBAN)——不僅關注體詞的位置資訊，而且利用雙向注意機制對體詞與句子之間的關係進行相互建模。
二、模型結構：
- 位置表示
定義一個位置索引序列，它的長度等於相應句子的長度。假設在句中出現一個方面詞中的單詞，那麼它的位置索引將被標記為0，其他單詞的位置索引將被表示為與當前方面項的相對距離。
例如，not only was the food outstanding but the little perks were great.
主題詞為food,位置檢索序列p = [4;3;2;1;0;1;2;3;4;5;6;7]。序列通過查詢位置嵌入矩陣，得到相應的位置嵌入。
- 詞表示
本文選擇使用雙向GRU，其效能類似於雙向LSTM，但具有更少的引數和更低的計算複雜度。模型左側的term嵌入經過Bi-GRU的雙向LSTM，右側詞嵌入與位置嵌入拼接後經過Bi-GRU的雙向LSTM。
3、位置敏感的雙向注意力網路
Aspect term to position-aware sentence attention:
首先通過左邊的Bi-GRU得到aspect term的隱含上下文表示，然後通過右側Bi-GRU得到輸入項（詞嵌入與位置嵌入拼接）的隱藏上下文表示。然後通過對方面詞和輸入項的隱含上下文表示來計算注意力權重，得到該aspect term中每個詞對應的句子的注意權重分佈。
Position-aware sentence attention to aspect term:
用非線性層表示序列x
將x輸入一個線性層，其輸出的長度等於標籤的數量。隨後加入一個softmax層來計算判斷情緒極性的概率分佈。
4、模型的訓練
PBAN模型可以在監督學習框架下進行端到端訓練，訓練的目的是優化所有的引數，使目標函式值(loss)儘可能的最小化。設yi為正確的情緒極性，用one-hot vector表示，表示給定句子的預測情緒極性。此外，為了避免過度擬合，我們採用了dropout策略來增強我們的PBAN模型。
三、實驗
1、試驗設定
所有的詞嵌入由預先訓練的Glove向量初始化，所有的權值矩陣都是通過均勻分佈抽樣得到的初值U（-0.1,0.1），所有的偏置項都為零。將詞嵌入和方面項嵌入的維數設定為300，隱藏單元的數量設定為200。將位置嵌入的維數設定為100，在訓練過程中隨機初始化並更新。
資料集：SemEval 2014。
2、模型對比
LSTM：普通LSTM結構
AE-LSTM：引入attention的LSTM
ATAE-LSTM：結合aspect語義的attention
IAN：雙向attention，融合主題詞上下文資訊
MemNet（9）：使用了一個包含9個計算層的複雜結構，反覆從外部記憶體中讀取有用的資訊。
IAN以互動的方式學習term及其對應句子之間的attention權重，但這種注意力機制是粗粒度的，沒有充分考慮term中不同詞語對句子的影響。MemNet（9）雖然利用了位置資訊，但主要用於計算儲存向量。
PBAN通過整合位置資訊和雙向注意機制，達到了最先進的效能，能夠有效判斷不同方面詞在其對應句子中的情緒極性，從而提高分類精度。
3、對比試驗
ATAE-Bi-GRU使用的是Bi-GRU結構而不是LSTM，其他設計與ATAE-LSTM相同。
PAN模型結構與ATAE-Bi-GRU模型相似。PAN將方面項嵌入和詞嵌入的串聯作為Bi-GRU結構的輸入，得到隱藏的上下文表示，而後利用上下文表示和aspect term的位置嵌入來計算attention權重，從而判斷aspect term的情感極性。
BAN通過雙向注意機制，可以更好地學習aspect term與句子之間的語義關係。但與PBAN模型相比，其忽略了aspect term的位置資訊。
PBAN除了充分考慮方面詞在對應句子中的位置資訊外，還考慮方面詞與句子之間的相互關係，這主要是通過雙向注意機制實現的。
四、結論
本文提出了一種基於Bi-GRU的位置感知雙向網路(PBAN)，用於方面水平的情感分類任務。PBAN的主要思想是利用方面項的位置嵌入來計算注意力權重。此外，PBAN採用了雙向注意機制，不僅能夠在體詞方面相互建模句子與不同詞語之間的關係，而且利用位置資訊更好地判斷體詞的情感極性。在SemEval 2014資料集上的實驗結果表明，其模型能夠學習到有效的特性，並獲得優於baseline的效能。