AIIA DNN benchmark「從芯」測試：人工智慧端側晶片基準測試評估方案 V0.5 版本釋出

AI 進入爆發期後，晶片對技術進步的影響愈發凸顯。深度學習對計算晶片提出了新需求，催生了 AI 加速晶片的問世。當 AI 晶片的功能日益複雜化、多樣化，一方面，晶片廠商紛紛給出不同的衡量標準，聲稱其產品在計算效能、單位能耗算力等方面處於行業領先水平；另一方面，需求方卻關心如何能從廠商給出的資訊中判斷出晶片是否能實際滿足其真實場景的計算需求。針對這一現狀，一個與真實場景緊密相連的、同時跨產品可比的測試評估方案的出現，迫在眉睫。

如何構建與真實場景緊密相連的、面向不同產品形態、裝置級別的 AI 加速器測試評估方案？2018 AIIA人工智慧開發者大會揭曉了答案。會上，《AIIA DNN benchmark——人工智慧端側晶片基準測試評估方案 V0.5 版本》由中國資訊通訊研究院雲大所人工智慧部副主任、中國人工智慧產業發展聯盟（AIIA）總體組組長孫明俊代表中國人工智慧產業發展聯盟釋出。

中國資訊通訊研究院雲大所人工智慧部副主任、中國人工智慧產業發展聯盟總體組組長 孫明俊

AIIA DNN benchmark 的工作目標為客觀反映當前以提升深度學習處理能力的 AI 加速器現狀，所有指標均旨在提供客觀比對維度。AIIA 希望，該方案能夠為晶片企業提供第三方評測結果，幫助產品市場宣傳；同時為應用企業提供選型參考，幫助產品找到合適其應用場景的晶片。V0.5 版本首先給出了端側評估方案。

根據孫明俊介紹，AI基準測試方案的制定面臨諸多挑戰。即便拋開優化程度、硬體架構等若干問題不談，延遲、頻寬、能耗都要納入考慮範圍。同時，各種神經網路模型都有不同引數，不同裝置在不同引數下有不同的輸出曲線。如何讓指標在不同級別的裝置中橫向可比？而云端和終端的應用是否需要不同的基準測試？如何為不同測試專案分配權重，以獲得一個相對公正客觀、有代表性的評分？這些都是應用領域的差異性和實現選擇的多樣性導致的測評難題。

針對以上特點，AIIA 聯合 Arm 中國、阿里巴巴集團、百度、寒武紀科技、ChipIntelli、地平線、華為、華大半導體、Imagination、Synopsys，騰訊、雲之聲等 12 家企業，推出了 AIIA DNN benchmark——人工智慧端側晶片基準測試評估方案。

AIIA DNN benchmark 將以「版本迭代、不斷豐富、不斷完善」的工作方式，為更多評測應用場景、評測指標等提供評估方案，最新公佈的 v0.5 版本提供了「通用晶片 AI 能力評估」和「定製化晶片的 AI 能力評估」2 種方案評測方案。方案覆蓋了時間、效能評價指標以及功耗 3 類測評指標和圖片分類、目標檢測、語音識別、超解析度 4 大應用場景。其中通用晶片的 AI 能力評估限定在指定場景、資料集、網路模型、框架下，而定製化晶片的 AI 能力評估將更加關注 AI 晶片對於特殊場景的優化能力，如安防、自動駕駛、智慧音箱等。針對每一個具體變數，方案都提供了 check list 選項，供被測方選擇。

目前 AIIA DNN benchmark 晶片基準測試評估方案是初級版本，預計會在 10 月底到 11 月初面向企業徵集首輪評估物件及方案，首輪測試物件主要為端側裝置。AIIA DNN benchmark 將會從場景、指標、部署位置等角度不斷做版本更新，誠邀企業參與。

可以預見，AIIA DNN benchmark 的釋出，能夠促進晶片供給側與需求側的交流，讓需求方的意見能夠更快傳達到晶片企業，讓企業進行有針對性的改良，加快行業迭代速度，推動 AI 產業的快速進步。