斯坦福最新深度學習測試：華為雲ModelArts排名世界第一
|
斯坦福大學DAWNBenchmark最新成績。
作為人工智慧最重要的基礎技術之一，近年來深度學習逐步延伸到更多的應用場景。隨著深度學習模型越來越大，所需資料量越來越多，深度學習的訓練和推理效能將是重中之重。
近日，斯坦福大學釋出了DAWNBenchmark的最新成績，在影象識別（ResNet50-on-ImageNet，93%以上精度）的總訓練時間上，華為雲ModelArts排名世界第一，僅需10分28秒，比第二名提升近44%。成績證明，華為雲ModelArts實現了更低成本、更快速度、更極致的體驗。
斯坦福大學DAWNBench是用來衡量端到端的深度學習模型訓練和推理效能的國際權威基準測試平臺，相應的排行榜反映了當前全球業界深度學習平臺技術的領先性。
深度學習訓練加速 需求日益劇增
人工智慧領域存在巨大的反差，一方面論文數量、AI計劃、創業公司數量繁多，一方面傳統行業和企業卻鮮有部署AI，AI普及率在多個行業還是個位數。華為GIV預測，到2025年，全球人工智慧終端將達到400億臺，企業應用雲化率將達到85%；企業資料利用率將達到80%；86%的企業將應用人工智慧。
近年來，深度學習已經廣泛應用於計算機視覺、語音識別、自然語言處理等領域，為了達到更高的精度，通常深度學習所需資料量和模型都很大，訓練非常耗時，這也在一定程度上阻礙了深度學習應用的開發進度。因此，深度學習訓練加速一直是學術界和工業界所關注的重要問題。
最近BigGAN、NASNet、BERT等模型的出現，預示著訓練更好精度的模型需要更強大的計算資源。未來隨著模型的增大、資料量的增加，深度學習訓練加速將變得更加重要。
華為雲ModelArts是一站式的AI開發平臺，已經在公測中。在模型訓練部分，ModelArts通過硬體、軟體和演算法協同優化來實現訓練加速。可將訓練時長縮短到10分鐘，創造了新的紀錄，為使用者節省44%的時間。ModelArts提供自動學習、資料管理等多個模組化的服務，可以幫助不同層級的使用者很快地開發出自己的AI模型。
開發者只需聚焦業務模型，無憂其他
在衡量分散式深度學習的加速效能時，主要通過兩個指標來衡量，一個是吞吐量，即單位時間內處理的資料量；另一個是收斂時間，即達到一定的收斂精度所需的時間。
吞吐量一般取決於伺服器硬體、資料讀取和快取等方面的優化，大部分技術在提升吞吐量的同時，不會造成對模型精度的影響。為了達到最短的收斂時間，需要在優化吞吐量的同時，在調參方面也做調優。如果調參調得不好，那麼吞吐量有時也很難優化上去。
對使用者而言，最終關心的指標是收斂時間，ModelArts實現了全棧優化，分別在資料讀取和預處理、模型計算、超參調優、底層優化等方面進行優化，縮短了訓練收斂時間。
在易用性方面，上層開發者僅需關注業務模型，無需關注下層分散式相關的API，僅需根據實際業務定義輸入資料、模型以及相應的優化器即可，訓練指令碼與執行環境（單機或者分散式）無關，上層業務程式碼和分散式訓練引擎可以做到完全解耦。
華為雲ModelArts致力於為使用者提供更快的AI開發體驗，在模型訓練這方面，內建的MoXing框架使得深度學習模型訓練速度有了很大的提升。事實上，深度學習加速屬於一個從底層硬體到上層計算引擎、再到更上層的分散式訓練框架及其優化演算法多方面協同優化的結果，具備全棧優化能力才能將使用者訓練成本降到最低。後續，華為雲ModelArts將進一步整合軟硬一體化的優勢，逐步整合更多的資料標註工具，擴大應用範圍，在公有云上為使用者提供AI服務。