論文提交數量爆炸式增長，最大規模NLP會議ACL 2019放榜

摘要： 自然語言處理領域頂級會議 ACL 將於 7 月 28 日至 8 月 2 日在義大利佛羅倫薩舉行。日前，ACL 2019 已經向論文作者發放通知，希望投稿 ACL 2019 的讀者們的論文能夠上榜。 最大規模NLP會議 3月份時，ACL 官方公佈了今年大會收到的投稿數量 ——2906...

自然語言處理領域頂級會議 ACL 將於 7 月 28 日至 8 月 2 日在義大利佛羅倫薩舉行。日前，ACL 2019 已經向論文作者發放通知，希望投稿 ACL 2019 的讀者們的論文能夠上榜。

最大規模NLP會議

3月份時，ACL 官方公佈了今年大會收到的投稿數量 ——2906 篇，相比於去年的 1544 篇出現了大幅增長。ACL 2019 也毫無爭議地成為了目前規模最大的一場 NLP 學術會議。

下圖展示了近 20 年來 ACL 大會論文投遞數量、評審人員數量和（高階）領域主席數量變化趨勢圖。

圖源：http://acl2019pcblog.fileli.unipi.it/?p=156

除去撤回論文等，ACL 2019 共收到有效論文 2694 篇，包括 1609 篇長論文和 1085 篇短論文。下表展示了各領域的提交論文情況：

其中提交論文數量位列前三的領域與ACL 2018一致：

• 資訊提取與文字挖掘（佔 ACL 2019 有效提交論文總數的9.2%，去年該領域論文所佔比例為11.5%）；

• 機器學習（8.2% ACL 2019 vs. 7.4% ACL 2018）；

• 機器翻譯（7.7% ACL 2019 vs. 8.3% ACL 2018）。

「 對話 和互動系統」在兩屆 ACL 會議上都在前五之內。但是，去年提交論文數量排第四的「文件分析」今年掉到了16位，去年以59篇論文排名14位的「生成」領域今年以156篇提交論文數量一躍而至第5名（該領域提交論文數量增長率甚至超過了大會總的增長率）。此外，「語言學理論、認知建模和心理語言學」（Linguistic Theories, Cognitive Modeling and Psycholinguistics）領域也有很大增長，從去年 24 篇提交論文發展到今年的 60 篇提交論文。

總體而言，各個分支領域的提交論文分佈較為平均，如下圖所示：

圖源：http://acl2019pcblog.fileli.unipi.it/?p=152

慣例：被吐槽的評審

學術會議接收到的論文越來越多，論文評審不可避免地成為了一大難題。事實也證明，每個AI學術大會，都會被或多或少吐槽「評審不專業」、「混亂」等。

如前文所述，ACL 已經成為自然語言領域學術會議的龍頭，投稿過量的情況下論文評審難免被詬病。

先不說評審質量，今年的 ACL 論文結果的通知就比既定時間晚了數個小時，讓一直侯在電腦前等結果的作者們「心慌慌」，ACL 2019 官方 Twitter 下就有網友表示「8 個小時的等待快把我逼瘋了」。

最後，官方也給出了推遲的原因，「通知延後是因為 START 系統技術問題。我們不確定通過這個系統郵件聯絡作者是否有用。我們正在處理，請作者們耐心等候。」

當然，這只是一個「小意外」，最重要的還是論文評審質量的反饋。emmm，小編今天一早開啟 Twitter，首先映入眼簾的就是 ACL 2019 的資訊，有的作者在慶祝自己的論文被接收，有的就在吐槽了，也有部分作者考慮改投 EMNLP 了。

其實，面對今年如此巨大的提交論文漲幅，ACL 2019程式委員會也採取了一系列措施，以更好地執行論文評審過程。

據官方介紹，ACL 2019 在專案委員會（Program Committee）之上開設高階專案委員會（Senior Program Committee），併為高階專案委員會招募大量高階領域主席（SAC，共 46 位，每個領域 2-4 名）和領域主席（AC，184 名，每個領域 3-15 名）。

其中，SAC 向 AC 和評審人員分配論文，並給出自己領域內的推薦；AC 則各自管理自己領域內的一小部分論文，領導評審人員之間的討論，寫 meta-review，並給出最初的論文推薦結果。這一結構對缺乏有經驗的評審者這一問題提供了一些作用。AC 集中看一小部分論文，因此可以更加關注評審流程。而 ACL 2019 共招募了 2281 名評審人員，相比於去年的 1610 名增長了42%。

此外，ACL 2019 還做了一些流程上的改變：

• 放棄了 paper bidding 階段。這個階段會佔用數天時間，鑑於今年的論文數量，這一過程會更加耗時。此外，大會還擔心評審人員傾向於選擇自己喜歡的論文，而不是選擇自己有資格評審的論文。大會計劃使用 Toronto Paper Matching System (TPMS) 為評審者分配論文，但這個系統的效果不如預期。SAC 在這一過程中做了傑出的工作，不過這個任務顯然需要更好的自動化支援。

• 和 NAACL 2019 一樣，ACL 2019 取消了作者回應階段。作者回應最初旨在改進評審流程，但非常耗時（不僅是作者的時間，還有評審者和領域主席的時間）。

• ACL 2019 採用了更加簡單的評審形式，既鼓勵嚴謹的評審，又減輕了評審人員的工作負擔，更加強調決策過程中的關鍵點。

目前，ACL 2019 的完整論文列表還未公佈，因為尚不知道接收率等資料，機器之心會持續關注最新訊息。截止到大會結束的這段時間，我們也會為大家推送優質的 ACL 論文。如果有讀者的論文被此大會接收，也可以留言給我們，我們會選擇一些論文推薦給廣大讀者。