「蜘蛛」來了！耶魯大學11名學生標註完成大規模複雜跨域Text-to-SQL資料集Spider

摘要： 近期，耶魯大學建立了一個新型大規模複雜跨域語義解析和 Text-to-SQL 資料集 Spider。研究者用多個當前最優模型進行實驗，最好的模型在資料庫分割設定下僅能達到 14.3% 的精確匹配準確率。Spider 資料集對未來研究是一個巨大挑戰。 專案地址： https://yal...

近期，耶魯大學建立了一個新型大規模複雜跨域語義解析和 Text-to-SQL 資料集 Spider。研究者用多個當前最優模型進行實驗，最好的模型在資料庫分割設定下僅能達到 14.3% 的精確匹配準確率。Spider 資料集對未來研究是一個巨大挑戰。

專案地址： ofollow,noindex" target="_blank">https://yale-lily.github.io/spider

新千禧年開始後，每天生產的資料量呈指數級增長，它們大部分儲存在關係資料庫中。近年來，訪問這些資料成為大多數大公司的興趣，這些公司可以使用結構化查詢語言（SQL）查詢資料。隨著手機的發展，更多個人資料也被儲存。因此，更多來自不同背景的人嘗試查詢和使用自己的資料。儘管目前資料科學非常流行，但是大部分人不具備足夠的知識來寫 SQL、查詢資料。此外，大部分人沒有時間學習和了解 SQL。即使對於 SQL 專家，一次又一次地寫類似的查詢也是很單調的任務。因此，今天海量可用的資料無法有效訪問。

標註問題和 SQL 對示例。

如果你不瞭解上圖長長的 SQL 程式碼，不要擔心！這就是資料庫自然語言介面的用武之地了。其目標是允許我們直接使用人類語言和資料進行互動！因此，這些介面可以幫助不同背景的使用者輕鬆查詢和分析海量資料。

如何構建此類介面？

要構建此類自然語言介面，系統必須理解使用者的問題，並將問題自動轉換為對應的 SQL查詢。那麼我們如何構建此類系統呢？目前最好的方法是使用深度學習在大規模問題和 SQL 對標註資料上訓練神經網路！與基於規則的完備系統相比，這些方法更具魯棒性和擴充套件性。

好的資料太少了！

但是，有一個關鍵的問題：我們從哪裡找到大量問題和 SQL 對標註資料？建立此類資料集非常耗時，因為標註人員必須理解資料庫模式，問問題然後寫出 SQL 答案，所有這些都需要特定的資料庫知識。而讓這件事變得更加困難的是：具備多個表的非私人資料庫數量非常有限。為了解決該任務對大型高質量資料集的需求，我們建立了資料集 Spider，它包含 200 個具備多個表的資料庫、10181 個問題、5693 個對應的複雜 SQL查詢。所有這些由 11 名耶魯大學學生標註完成，共耗時 1000 小時！

為什麼要選 Spider？

儘管建立此類資料很難，但在傳統的 9 個數據庫（包括 ATIS、GeoQuery、Scholar、Advising、WikiSQL 等）中還是有一些和 SQL查詢類似的資料資源。那麼，為什麼要選擇 Spider 資料集呢？我們來看下圖：

一些 Text-to-SQL 資料集的 Spider 圖。

• ATIS、Geo、Academic：這些資料集都只包含一個數據庫。而這些資料庫大部分僅包含不到 500 個獨特的 SQL查詢。基本上，在這些資料集上訓練的模型僅對特定的資料庫有效。在轉換資料庫後，模型將完全失敗。

• WikiSQL：SQL查詢和表的數量很多，但是所有 SQL查詢都很簡單，僅包含 SELECT 和 WHERE 從句。此外，每個資料庫都只是沒有外來鍵的簡單的表。在 WikiSQL 上訓練的模型在其它新資料庫上仍然可以執行，但是該模型無法處理複雜的 SQL（如 GROUP BY、ORDER BY 或巢狀查詢）和具備多個表和外來鍵的資料庫。

從上圖中可以看出，Spider 的範圍最大，因此它是最複雜的跨域 text-to-SQL 資料集。為什麼我們說它是最大的複雜跨域資料集呢？

• 大：超過 10000 個問題，6000 個對應的獨特 SQL查詢。

• 複雜：大部分 SQL查詢覆蓋幾乎所有重要的 SQL 元件，包括 GROUP BY、ORDER BY、HAVING 和巢狀查詢。此外，所有資料庫都具備多個由外來鍵連結的表。

• 跨域：包含 200 個複雜資料庫。根據資料庫型別，我們將 Spider 資料集分割成訓練、開發和測試集。這樣，我們就可以在未見過的資料庫上測試系統性能。

為什麼大、複雜、跨域？

首先，要訓練一個深度學習模型，資料集越大，效能越好。其次，你當然希望訓練資料儘可能多地覆蓋更多場景，包括不同的 SQL 元件和資料庫模式。這樣，系統可以更好地適應多種情形。最後，為什麼我們想要跨域資料？簡單來講，當你遇到新資料庫時，你不想重新標註資料、重新訓練一個新模型，這很浪費時間！

Spider 資料集下載

你可以通過以下方式找到 Spider 資料集和排行榜：

• 專案頁面：https://yale-lily.github.io/spider

• GitHub 頁面：https://github.com/taoyds/spider

我們希望 Spider 能夠幫助我們走向下一代資料庫自然語言介面！

其它挑戰

我們已經建立了一個不錯的資料集了，那麼要構建現實世界的資料庫自然語言介面還需要解決哪些挑戰？從自然語言處理的角度來看，有三個主要任務：

自然語言理解：該系統必須理解使用者的問題，這些問題可能是模糊、隨機和多樣的。

資料庫模式表徵：資料庫可以非常複雜，包括數百個列、很多表和外來鍵。

複雜的 SQL 解碼／生成：該系統理解使用者問題和使用者正在查詢的資料庫模式後，它還需要生成對應的 SQL 答案。但是，SQL查詢可能非常複雜，並且還包含具備不同條件的巢狀查詢。

相關研究

該領域已經經過 NLP 和資料庫社群數十年的研究。以下是近期相關研究的簡短列表：

• SyntaxSQLNet: Syntax Tree Networks for Complex and Cross-Domain Text-to-SQL Task

• Zero-shot Parser：Decoupling Structure and Lexicon for Zero-Shot Semantic Parsing（https://arxiv.org/abs/1804.07918）

• Coarse2fine：Coarse-to-Fine Decoding for Neural Semantic Parsing（https://arxiv.org/pdf/1805.04793.pdf）

• SQL 評估方法：TypeSQL: Knowledge-based Type-Aware Neural Text-to-SQL Generation（https://arxiv.org/pdf/1804.09769.pdf）

• 在任務中加入背景資訊：Learning to Map Context-Dependent Sentences to Executable Formal Queries（http://alanesuhr.com/atis.pdf）、DialSQL: Dialogue Based StructuredQueryGeneration（http://cs.ucsb.edu/~ysu/papers/acl18_dialsql.pdf）

• TypeSQL：TypeSQL: Knowledge-based Type-Aware Neural Text-to-SQL Generation（https://arxiv.org/abs/1804.09769）

• SQLNet：SQLNet: Generating Structured Queries From Natural Language Without Reinforcement Learning（https://arxiv.org/abs/1711.04436）

• Seq2SQL：Seq2SQL: Generating Structured Queries from Natural Language using Reinforcement Learning（https://arxiv.org/abs/1709.00103）

• 句法神經網路：A Syntactic Neural Model for General-Purpose Code Generation（https://arxiv.org/abs/1704.01696）、Abstract Syntax Networks for Code Generation and Semantic Parsing（https://arxiv.org/abs/1704.07535）

• Seq2Tree：Learning a Neural Semantic Parser from User Feedback（https://arxiv.org/pdf/1704.08760.pdf）

• NaLIR：Constructing an Interactive Natural Language Interface for Relational Databases（http://www.vldb.org/pvldb/vol8/p73-li.pdf）

以及一些相關的演講、部落格或書籍：

• How to Talk to Your Database（https://einstein.ai/research/blog/how-to-talk-to-your-database）

• ACL 2018 Tutorial on Neural Semantic Parsing（https://github.com/allenai/acl2018-semantic-parsing-tutorial）

• Natural Language Data Management and Interfaces（http://www.morganclaypoolpublishers.com/catalog_Orig/product_info.php?products_id=1286）

• A Syntactic Neural Model for General-Purpose Code Generation（https://vimeo.com/234954608）

• Learning to Map Context-Dependent Sentences to Executable Formal Queries（http://alanesuhr.com/sia2018-slides.pdf）

論文：Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task

論文連結：https://arxiv.org/abs/1809.08887

摘要：我們展示了一個大規模複雜跨域語義解析和 text-to-SQL 資料集 Spider。該資料集由 11 名耶魯大學學生標註，包含 10181 個問題和 5693 個獨特的複雜 SQL查詢、200 個具備多個表的資料庫，覆蓋 138 個不同領域。我們定義了一個新的複雜跨域語義解析和 text-to-SQL 任務，其中訓練集和測試集中出現不同的複雜 SQL查詢和資料庫。因此，該任務要求模型在新的 SQL查詢和新資料庫模式上均實現良好的泛化。Spider 與之前的大部分語義解析任務都不同，因為它們使用單個數據庫，而且訓練集和測試集使用的是相同的資料庫。我們用多個當前最優模型進行實驗，最好的模型在資料庫分割設定下僅能達到 14.3% 的精確匹配準確率。這表明 Spider 對未來研究是一個巨大挑戰。

原文地址：https://medium.com/@tao.yu/spider-one-more-step-towards-natural-language-interfaces-to-databases-62298dc6df3c