讓AI學會刨根問底和放飛自我，斯坦福最新問答資料集CoQA
以往的對話問答資料集，大多把答案限定在了給定段落的範圍內，這種答案有時候不僅不自然，而且還要依賴問題與段落之間的詞彙相似性。導致機器有時答非所問，顯得有點笨拙。本文提出的一種新型對話資料集 CoQA，囊括來自 7 個不同領域的文字段落裡 8000 個對話中的 127,000 輪問答，內容豐富。而且該問答系統支援自由形式的答案，使機器回答問題不再那麼一板一眼，而是靈活多樣。
我們通常以提問的方式來向別人求解或測試對方。然後根據對方的回答，我們會繼續提問，然後他們又基於之前的討論來回答。這種循序漸進的方式使對話變得簡潔明瞭。無法建立和維持這種問答方式是虛擬助手無法成為可靠對話夥伴的部分原因。本文提出了 CoQA，一個衡量機器參與問答式對話能力的對話問答資料集。在 CoQA 中，機器必須理解文字段落並回答對話中出現的一系列問題。研究人員開發 CoQA 時主要考慮了三個主要目標。
圖 1：CoQA 資料集中的一個對話。每個回合都包含一個問題（Qi），一個答案（Ai）和支援答案的理由（Ri）。
首先要考慮的是人類對話中問題的性質。圖 1 顯示了正在閱讀文章的兩個人之間的對話，其中一個為提問者，另一個為回答者。在此次對話中，第一個問題之後的每個問題都是基於之前的對話。例如，Q5（Who？）只有一個單詞，如果不知道之前的對話是不可能回答的。提出簡短的問題對人類來說是一種有效的溝通方式，但對機器來說卻是一種痛苦。眾所周知，即使是最先進的模型在很大程度上也要依賴於問題與段落之間的詞彙相似性（Chen et al., 2016; Weissenborn et al., 2017）。而目前，包含基於對話歷史的問題的大規模閱讀理解資料集（見表 1）仍未出現，而這正是 CoQA 的主要開發目的。
表 1：CoQA 與現有大型閱讀理解資料集的比較（約 10 萬多個問題）。
CoQA 的第二個目標是確保對話中答案的自然性。很多現有的 QA 資料集把答案限制在給定段落的連續範圍內，也被稱之為可提取答案（表 1）。這樣的答案有時候不是很自然，例如，圖 1 中 Q4（How many？）就沒有可提取答案。在 CoQA 中，答案可以是自由形式的文字（抽象答案），而提取跨度則作為實際答案的參照。因此，Q4 的答案雖然只是簡單的『Three』，但卻是參照多句話所得出的結論。
CoQA 的第三個目標是構建跨域穩定執行的 QA 系統。當前的 QA 資料集主要集中在單個域上，所以難以測試現有模型的泛化能力。因此，研究人員從七個不同的領域收集資料集——兒童故事、文學、中學和高中英語考試、新聞、維基百科、科學和 Reddit。最後兩個用於域外評估。
總而言之，CoQA 具有以下主要特徵：
-
通過文字段落從 8000 個對話中收集了 127，000 輪問答（每段約一個對話）。平均會話長度為 15 回合，每回合包含一個問題和一個答案。
-
自由形式的答案。每個答案都有一個提取理由，在段落中突出顯示。
-
文字段落來自七個不同的領域——五個用於域內評估，兩個用於域外評估。
幾乎有一半的 CoQA 問題使用共指關係回溯到會話歷史，並且很大一部分需要語用推理，這導致僅依賴詞彙線索的模型更具挑戰性。研究人員對生成抽象答案和可提取答案（第 5 節）的深度神經網路模型進行了基準測試。表現最佳的系統是一種可以預測提取原理，並將原理進一步輸入生成最終答案的序列到序列模型中的閱讀理解模型，該閱讀理解模型獲得 65.1％的 F1 分數。相比之下，人類實現了 88.8％的 F1，比模型高出了 23.7％，這表明它有很大的提升空間。此外，人類的強勁表現表明，與閒聊對話（它支援更可靠的自動評估）相比，CoQA 的回答空間要小得多（Ritter et al., 2011; Vinyals and Le, 2015; Sordoni et al., 2015）。
論文：CoQA: A ConversationalQuestion AnsweringChallenge
論文地址：ofollow,noindex" target="_blank">https://arxiv.org/abs/1808.07042
摘要：人類通過參與一系列問題和答案相互關聯的對話來收集資訊。因此協助我們收集資訊的機器，也必須能夠回答對話問題。我們介紹了一個用於構建對話問答系統的新資料集 CoQA。該資料集包含來自 7 個不同領域的文字段落裡 8000 個對話中的 127,000 輪問答。問題是會話形式，而答案是自由形式的文字，並在段落中突出顯示相應的依據。我們深入分析了 CoQA，發現會話問題具有現有閱讀理解資料集所沒有的挑戰性現象，例如共指關係和實用推理。我們在 CoQA 上評估強大的對話和閱讀理解模型。表現最佳的系統獲得了 65.1％的 F1 分數，與人類相比低了 23.7%，這表明它有很大的改善空間。作為一種挑戰，我們在http://stanfordnlp.github.io/coqa/ 社群上推出了 CoQA。
任務定義
對於圖 2 中的示例，對話從問題 Q1 開始。我們根據段落中的依據 R1 用 A1 回答 Q1。在這個例子中，回答者只寫了 Governor 作為答案，但選擇了很長的依據——「The Virginia governor’s race」。
下面來看 Q2（Where？），我們必須回顧對話歷史，否則它的答案可能是 Virginia 或 Richmond 或其它。在我們的任務中，回答很多問題都需要對話歷史。我們使用對話歷史 Q1 和 A1，基於依據 R2 用 A2 回答 Q2。按公式來講，回答問題 Qn 要根據對話歷史 Q1，A1 ……Qn-1，An-1。對於一個無法回答的問題，我們將未知作為最終答案，並且不選擇任何理由。
在這個例子中，我們觀察到焦點實體（entity of focus）隨著對話的進行而改變。提問者使用 his 指代 Q4 中的 Terry，he 指代 Q5 中的 Ken。如果這些問題得不到解決，我們最終將會得到錯誤答案。問題的對話性質要求我們根據多個句子（當前問題和之前的問題或答案，以及段落中的句子）來推理。通常，單個問題的參照可能會跨越多個句子（例如，圖 1 中的 Q1，Q4 和 Q5）。我們在第 4 節中描述了其它問答型別。
圖 2：用不同的顏色表示共指關係鏈的對話。焦點實體在 Q4，Q5，Q6 中發生變化。
表 2：CoQA 中域的分佈
資料集分析
圖 3：SQUAD 和 CoQA 裡問題中前三個詞的分佈情況。
表 3：SQUAD 和 CoQA 中段落、問題和答案的平均單詞數。
表 4：SQuAD 和 CoQA 中答案型別的分佈。
表 5：CoQA 問題中的語言現象。
表 6：模型和人類在開發資料和測試資料上的表現（F1 得分）。
表 6 列出了模型在開發資料和測試資料上的結果。根據測試集上的結果，seq2seq 模型表現最差，有些答案不管有沒有出現在段落中，都會頻繁出現，這是一種眾所周知的對話模型行為（Li et al., 2016）。PGNet 通過關注文章中的詞彙來緩解反應頻繁的問題，優於 seq2seq 17.8 個百分點。然而，它仍然落後於 DrQA 8.5 個百分點。原因可能是 PGNet 在回答問題之前必須記住整個段落，而 DrQA 避免了這項巨大開銷。但 DrQA 在回覆自由形式答案的問題時不理想（參見表 7 中的 Abstractive 行）。當 DrQA 被輸入 PGNet 時，我們授權 DrQA 和 PGNet - DrQA 生成自由形式的答案; PGNet 專注於參照而不是段落。這種組合比經典 PGNet 和 DrQA 模型分別要強 21.0% 和 12.5%。
結論
在本文中，我們介紹了 CoQA，一個用於構建對話問答系統的大型資料集。與現有的閱讀理解資料集不同，CoQA 包含對話問題，自然答案，作為參照的提取跨度，以及來自不同領域的文字段落。我們的實驗表明，現有的對話和閱讀理解模型在 CoQA 上的表現不如人類。我們希望這項工作能夠激發更多有關會話建模的研究，這是實現人機自然互動的關鍵因素。