首次成功用CNN自動生成程式碼：北大研究者搞定了爐石傳說
如果人工智慧可以自動生成程式碼，程式員們就能減少很多工作壓力（失業是不可能失業的）。
北大研究者最近提出了使用 卷積神經網路 （CNN）解碼器生成程式碼的方法，並在《爐石傳說》資料集上進行了測試，效果超過了此前各類業內最佳模型。該研究的論文已被 AAAI 2019 大會接收。研究者稱，這是首個成功用 CNN 解碼器生成程式碼的工作。
我們知道，程式包含對程式建模非常重要的豐富的結構資訊。然而，傳統的Seq2Seq神經網路不能直接建模程式結構。圖 1 展示了一個 Python 抽象語法樹（AST）示例，其中的 n3、n6 兩個節點需要擁有父-子節點那樣密集的關聯，但如果該樹是前序穿過序列的，彼此間就會比較遠。這對Seq2Seq模型而言就比較困難。
圖 1：程式碼的抽象語法樹（AST）：init(a)。
為了解決這個問題，Dong 和 Lapata (2016) 提出了一種沿著程式的抽象語法樹生成程式碼的方法，但這種生成仍然處於 token 級別。近來，更多的研究通過在每一步預測或重寫語法規則 (Xiong et al. 2018; Yin and Neubig 2017; Rabinovich, Stern, and Klein 2017) 來生成程式；因此，確保了生成的程式在語法上是正確的。當在這些方法中使用神經網路時，RNN 被用來捕獲解碼器中預測的自迴歸。
在深度學習社群，研究人員對使用卷積網路作為解碼器越來越感興趣 (Gehring et al. 2017; Chaturvedi, Pandit, and Garain 2018)，因為它效率高且容易訓練。研究者進一步觀察發現，程式比自然語言語句大得多，即使是帶有長短期記憶 (Hochreiter and Schmidhuber 1997,LSTM) 單元的 RNN 也存在長期依賴問題 (Bengio, Simard, and Frasconi 1994)。而 CNN，卻能通過滑動視窗有效地捕獲不同區域的特徵。
為此，研究者提出了一種基於語法的結構化 CNN 來用於程式碼生成。他們的模型根據 AST 中的語法結構規則生成程式碼，例如，If → expr stmt* stmt*就遵循了他們先前研究 (Xiong et al. 2018) 中的框架。由於子節點序列是通過一個預測步驟生成的，因此與逐個 token 生成相比，它能夠實現更緊湊的預測。換句話說，該模型預測語法規則序列，最終形成整個程式。
在他們的方法中，語法規則的預測主要基於三種類型的資訊：指定生成程式的源序列，先前預測的語法規則，以及已經生成的部分 AST。在這裡，第一個資訊是編碼器的輸入，後兩者使得解碼器能夠自迴歸，和以前一樣，解碼器以編碼器為條件。
圖 2：模型概覽，虛線箭頭表示注意力控制器。
研究者在已有的基準資料集 HearthStone（爐石傳說）上進行了實驗（如圖 4 所示），任務是 Python 程式碼生成（Ling et al. 2016），表 2 展示了該資料集的統計。實驗結果表明他們提出的基於 CNN 的程式碼生成方法遠遠超越了以前的基於 RNN 的方法（如表 3 所示）。研究者還進行了擴充套件性的控制變數測試，表明基於語法的結構化 CNN 相比一般的 CNN 應用方法更優越（如表 4 所示）。研究者進一步在兩個語義解析任務上評估了該方法，其中目標程式比爐石傳說的更短；他們的方法依然得到了和以前的最佳方法相當的效能，表明該方法具備魯棒性（如表 5 所示）。
圖 4：爐石傳說資料集的示例卡片，（a）輸入描述；（b）輸出程式。
表 2：資料集統計。
表 4：控制變數測試。
論文中研究者稱，他們的研究是第一次成功使用 CNN 解碼器生成程式碼的工作。表 3 展示了基於 CNN 的程式碼生成結果，並與此前的業內最佳模型進行了對比。
如表中所示，新模型在準確率和 BLEU 分數方面都優於以前的所有結果。尤其是，新模型在準確率方面顯著高於此前的業內最佳模型——在字串準確率上高出了 5%。對於手動調整的準確率來說，Yin & Neubig（2017）曾報告過大約 2% 的提升。在本文中，北大的研究者也觀察到了類似的效果，實現了 30.3% 的 Acc+分數，這證明了新方法的有效性。
表 3：新模型與此前業內最佳模型的對比，以百分比記。在手動調整後效能大概能增加 2%（Yin and Neubig (2017)）。
表 5：語義分析的準確性（以百分比記）。
論文：A Grammar-Based Structural CNN Decoder for Code Generation
論文地址：https://arxiv.org/abs/1811.06837
摘要：程式碼生成可以將一份程式描述對映為用一種程式語言寫成的可執行原始碼。現有的方法主要依賴於迴圈神經網路（RNN）作為解碼器。然而，我們發現程式比自然語言句子包含的 token 要多得多，因此 RNN 可能並不適合捕捉長句。本文提出了一個基於語法的結構化 卷積神經網路 （CNN），用於程式碼生成。我們的模型通過預測程式語言的語法規則來生成程式；我們設計了若干個 CNN 模組，包括基於樹的卷積和前序卷積，其資訊通過專用的注意力池化層進一步聚集。在爐石傳說基準資料集上的實驗結果顯示，我們的 CNN 程式碼生成器的表現超出之前最佳方法 5 個百分點；我們通過另外幾個實驗在若干語義分析任務上驗證了模型的魯棒性。為了更好地理解模型的每個部分，我們還進行了深入的控制變數測試。