AI界的State of the Art都在這裡了
機器之心編輯， 參與：劉曉坤、思源
近日，來自 MIT 和 UNAM 的四名學生構建了一個收錄了最優演算法的網站，他們按領域、任務和資料集採集了最先進水平（SOTA）的論文，併為不同的任務提供了不同的效能度量標準。如果我們需要處理特定資料集或任務，這能大大減少搜尋論文的時間，同時還能快速瞭解當前最優的解決方案。
專案地址： ofollow,noindex"> https://www. stateoftheart.ai/
正如這些學生所言：「我們希望將所有資源都高效地分配到如今迅猛發展的 AI 和 ML 領域。」因此這個專案可以更高效地利用手中的資源，包括將時間、精力和計算資源都投入到真正的當前最優方法和結果上。
State Of The Art
儘管目前已經有很多諸如 arxiv-sanity、GroundAI、Deep Learning Monitor、reddit、Medium 等等能幫助我們緊跟 AI 和 ML 領域最新發展的網站。作者認為目前我們尚未擁有易於查詢的專案來檢索最先進的、可量化的任務結果。遵循這個想法，作者的目標是建立這個工具，不僅對研究人員有用，對任何想要諮詢或有助於推動該領域的人都有用。
基於這樣的目標，作者選取了 State Of The Art 作為衡量標準。很多讀者都很熟悉當前最優結果（SOTA），現在的新研究很多都嘗試給出更好的 SOTA 結果。而大部分新的最優結果主要關注修正部分結構或給出一些技巧，我們很難判斷實際上這樣的修正到底重不重要。為此，作者認為一個能真正包含 SOTA 結果的專案是非常有價值的，因此也就有了 stateoftheart.ai。
資料來源與度量
資料的主要來源是可以上傳其領域相關結果的機器學習社群。社群的開發者在閱讀（大量）文章後，會知道哪些論文是真正重要的、哪些論文的 SOTA 結果是可以復現的。此外，爬取網頁和幾個現有資料集和網站的資料同樣可以為專案提供資料。最後，資料的另一部分來自電子前沿基金會的《Measuring the Progress of AI Research》報告。
報告地址： https://www. eff.org/ai/metrics
當然，衡量 AI 領域進展的許多方面既不容易量化，也不能以表格形式展示。此外，任務的分類在某種程度上必然是有任意性的和不完整的。但是，在許多情況下，這樣的工具非常有用，並且始終可作為非全面的初始參考。該專案已經覆蓋了計算機視覺、AI 遊戲、自然語言處理、網路圖和知識庫、程式歸納和程式合成、音訊處理，以及時間序列處理等領域。
專案示例
開放平臺並使其簡單無縫，每個人都可以做出貢獻是至關重要的。任何人只要註冊後就可以使用「Upload Result」按鈕上傳新任務、指標或結果。目前，該網站支援通過論文的 DOI / URL 來上傳結果。這裡主要展示了影象分類與機器翻譯的 SOTA 結果，專案會提供對應原論文與具體資料集上的結果。此外，作者還將根據使用者反饋調整平臺以適應更多用例場景。
目前該網站不支援搜尋引擎，但可以通過多級分類按鈕進行檢索。檢索共分為三個級別，領域、任務和資料集。只要依次選中想要的檢索關鍵詞，就可以在下方的表格中查到定量的 state of the art 數值結果。如下圖所示，依次選中「計算機視覺」、「影象分類」和「ImageNet」後，就能看到當前最佳的 ImageNet 分類器的相關資訊。
從表格中分別能查詢到相關論文、作者、演算法、論文接收會議和效能指標，以及論文的連結。
從這裡的資料來看，作者收集了多種分類指標，包括準確率、誤差率、top-1 準確率和 top-5 準確率，並分離地進行排序。
按照 top-1 準確率和 top-5 準確率指標，最佳的 ImageNet 分類器應該是 2018 年的《Learning Transferable Architectures for Scalable Image Recognition》這篇論文中提出的 NASNET-A(6) 架構，其 top-1 準確率為 82.7%，top-5 準確率為 96.2%。
此外，演算法描述也能提供一個簡要的理解。例如在機器翻譯中的 NIST05 (Chinese-English) 資料集上，當前最優的論文可以視為結合了 Transformer 與 CSGAN。演算法簡述與其所投的的大會能讓我們在最短的時間內對該論文有一個直觀瞭解：
關於該專案的資料更新程度，我們可以根據近期比較受關注的 BERT 模型收錄情況感受一下。在自然語言處理領域，已經可以在很多工中找到 BERT 的身影，包括分類、常識推理、實體識別、語法、電影評論等。
當然，這裡收錄的 SOTA 結果也不全包含最新的。比如，依次點選「Game Playing」、「Abstract-Strategy」、「Go」之後，你將看到如下結果：
表中顯示 AlphaGo Zero 是最新的 SOTA 圍棋 AI，但實際上我們都知道，應該是近期上了 Science 封面的AlphaZero：
