深度解讀華為雲AI戰略:如何靠AI贏得下一個十年?
10月10日開幕的2018華為全聯接大會(HUAWEI CONNECT 2018)現場,華為輪值董事長徐直軍詳細闡述了華為的AI戰略,並推出了全棧全場景的AI解決方案,正式向整個AI業界宣告華為入場...
總體來說,華為人工智慧的發展戰略是以持續投資基礎研究和AI人才培養,打造全棧全場景AI解決方案和開放全球生態為基礎。
所謂全棧,是從縱向的技術功能視角來看,包括晶片、晶片使能、訓練和推理框架、應用使能在內的全堆疊方案。所謂全場景,是指從橫向來看,華為的AI解決方案可以用於包括公有云、私有云、各種邊緣計算、物聯網行業終端以及消費類終端等部署環境。
當然,華為AI全棧全場景,離不開華為雲。同時,華為雲 BU雖然成立時間不長,但實際上是站在巨人的肩膀上前進——目前來看華為過去30年所積累的無論是軟硬體技術的能力,還是基於運營商在網路方面的經驗,及終端消費者客戶的經驗,對華為雲BU來說都是一個很好的積澱。
華為雲BU EI服務產品部總經理賈永利表示:“華為雲從成立第一天就是帶著全棧整合優勢出現的。”以全棧技術為核心武器,在過去一年裡,聚焦企業端的華為雲在8大行業、200多個專案中,將行業智慧不斷與AI進行融合,把AI能力擴充套件到了交通、物流、製造等無限場景。而這一切的支撐來自華為雲貫通軟硬體各個層面的技術創新。
華為雲AI能力全面升級
基於新發布的昇騰晶片,華為雲從底層算力到軟體框架再到系統級服務進行了一次AI大升級,不僅進一步補齊AI軟體體系,也為行業AI更好地落地打下了基礎。
第一層進化:底層算力擴充套件
算力、演算法、資料是當前 AI 的三大基石,目前行業中產生的大量資料在清洗、標註、訓練上仍然需要消耗較長時間,因此算力仍是稀缺資源。
而算力的基礎又在於晶片,華為在HC上釋出的兩款AI晶片昇騰910和昇騰310不出意料地成為熱點話題。
這兩款晶片均採用華為獨創的“達芬奇架構”。
昇騰910屬於Max系列,主打雲場景的超高算力,半精度算力達到256 TFLOPS,比目前最強的NVIDIA V100的125T還高出一倍,是目前全球已經發布的單晶片計算力最大的AI晶片,採用7nm工藝,最大功耗350W,將在明年第二季度上市。
昇騰310屬於Mini系列,採用12nm工藝,兼具高效計算和低功耗,算力可達16TFLOPS,最大功耗僅8瓦,集成了16通道全高清視訊解碼器。這既是目前面向邊緣計算場景最強算力的SoC,也可以應用在雲上。
我們都知道,中國的雲廠商還沒有做晶片的能力,在不少網際網路廠商AI晶片還僅存在於PPT裡的情況下,華為已經將昇騰310用於華為雲,使AI的推理能力成為高階虛擬機器的標配,使用者可以獲得16倍的推理算力。
如果覺得這個算力還不夠,華為雲還會在AI增強型的虛擬機器和容器中,提供高達512T算力的服務;針對訓練場景,華為雲還將提供ECS和裸金屬形態最高2PFLOP的計算能力。
除了H6服務,華為雲還提供Ai1、At1、Physical.At1服務,全部基於昇騰AI晶片,有了這一系列雲服務,華為雲將全面進入AI新時代。
當然,正如華為雲BU EI服務產品部總經理賈永利所說的:“算力肯定是華為的一個顯著競爭力,但是我不認為它是華為雲做人工智慧唯一的競爭優勢,而是其中一個優勢。”
第二層進化:全平臺統一訓練和推理框架
在算力之上,華為還提出了完整的軟體堆疊,以實現一次性運算元開發、一致的開發和除錯體驗。
目前大部分AI演算法都需要在雲端訓練,進而在終端部署。但大部分雲廠商都不提供終端晶片售賣,晶片廠商也不提供雲端計算服務,所以,一般AI應用在訓練跟部署之間一定會經過一次以上的底層計算環境遷移——對企業而言這是一個無用的“內耗”,既耗費人力物力,又浪費時間。
這對於開發者本人而言也是件麻煩事,因為轉換底層環境涉及到很多演算法跟運算元的調校,很容易出現明明在雲上跑得好好的,一換計算環境應用效率就跌。因此,華為希望能夠用同一套框架,打通華為公有云、私有云、邊緣計算、手機等不同AI應用場景,讓AI應用只需要一次調校,從而大大簡化部署工作。
運算元庫CANN能夠兼具最優開發算力和運算元效能,其中TensorEngine實現了統一的DSL介面、自動運算元優化、自動運算元生成以及自動運算元調優功能。值得一提的是,華為在TensorEngine中採用了陳天奇等人提出的TVM。以Reduce_sum開發案例為例,使用CANN能將開發效率提升三倍。
Mindspore則是華為提出的統一訓練和推理的AI框架,將於明年第二季度正式對外發布。Mindspore支援深度學習、強化學習、增強學習,能夠靈活適應不同資源預算的部署環境,可以在雲、邊緣、端提供一致的開發體驗,同時支援所有主流機器學習和深度學習框架(包括TensorFlow、PyTorch、PaddlePaddle、Keras、ONNX、MXNet等)。在釋出會上,華為還介紹了MindSpore裝置端深度學習框架,大小隻有2MB不到,執行時佔用記憶體不到50MB。
CANN和Mindspore共同構成了“全棧全場景”的核心基礎框架。
第三層進化:一站式AI應用開發平臺
除了稀缺且昂貴的算力,阻礙AI產業規模化發展的根本原因還有一個,就是開發效率低。標註、訓練、部署整個過程不僅費時,還極其費力。為了解決這個問題,華為推出了普惠AI開發平臺ModelArts。
ModelArts是面向AI開發者的一站式開發平臺,提供海量資料預處理及半自動化標註、大規模分散式訓練、自動化模型生成、模型調優,及端-邊-雲模型按需部署能力。
同時,ModelArts能夠在AI開發全生命週期中,從原始資料、標註資料、訓練作業、演算法、模型、推理服務等,提供全流程視覺化管理。支援千萬級模型、資料集以及服務等物件的管理,無需人工干預,自動生成溯源圖,選擇任一模型就可以找到對應的資料集、引數、模型部署在哪裡。其中最實用的訓練斷點接續功能、訓練結果比對功能,在華為內部開發者中也頗受歡迎。
簡單來說,ModelArts的特點是“四快”:
- 資料準備快
資料標註與準備對於很多AI開發者來說是最為痛苦的一項工作。曾有開發者吐槽,光是準備資料就要佔掉整體開發時間的70%。ModelArts內建AI資料框架,以AI的機制來治理資料,用迭代訓練來解決標註的資料量問題。尤其在資料量龐大的場景中,帶來的直接效益是資料標註與準備效率達百倍的提升。
- 上手快
ModelArts具備自動學習功能,支援模型的自動設計與自動調參等,能夠幫助開發者提升開發效率、快速上手。
對於有經驗的開發者,可以在ModelArts上自行編寫並匯入演算法程式碼,核心元件MoXing SDK支援豐富的模型庫、優化演算法和各類工具庫;支援自動超引數調優;包含訓練-驗證-預測-模型匯出的整套框架;開發者只需要編寫一套程式碼就能自動實現單機及分散式化。
對於程式設計苦手卻想快速生成模型的AI初學者,ModelArts也預置了能夠覆蓋大部分常用應用場景的演算法模型(如RestNet_50、Faster_RCNN、SegNet_VGG_16等,未來還將上線更多演算法模型),所有預置模型的基於開源資料集訓練,模型精度領先。只需配置資料路徑/日誌輸出路徑和Hyper Parameter自動選擇設定就可以一鍵啟動訓練。
- 訓練快
針對模型訓練耗時長的挑戰,ModelArts通過各類優化技術,尤其是級聯式混合並行技術,在同樣的模型、資料集和同等硬體資源情況下,可以使模型訓練耗時降低一半。
在大量資料需要同步的情況下,大規模叢集做分散式仍是當前的業界難題。目前大資料集分散式訓練在行業內的最好成績是fast.ai團隊在亞馬遜雲上實現的,通過128顆GPU例項同時執行,可在18分鐘內完成訓練,而華為雲EI可以用同樣的節點在12分鐘以內 完成同樣的任務。
- 上線快
在AI規模化落地的場景下,模型部署會非常複雜。例如在智慧交通領域,以下場景非常常見——更新後的模型,需要一次性同時部署到各種不同規格、不同廠商的攝像頭上,這是一項非常耗時、費力的巨大工程。
對於此類場景,ModelArts可以一鍵推送模型到所有邊緣、端的裝置上,雲上的部署還支援線上和批量推理,滿足大併發和分散式等多種場景需求。
ModelArts之外,華為還推出了專為視覺智慧打造的開發工具HiLens 。
HiLens由一個具備AI能力的攝像機和雲上開發平臺組成,搭載昇騰310,提供了強大的算力和儲存空間,可以滿足較大的影象處理運算需求,甚至實現1秒百幀的處理能力及毫秒級人臉檢測。
同時,HiLens內建的輕量級容器,具備資源佔用少、降低網路頻寬、下載啟動時間快等特性,因此也降低了系統實時處理的難度。
另外,HiLens為個人開發者、企業和裝置生產廠商提供了一整套安全可靠的一站式技能開發、部署和管理服務,可無縫對接客戶行業裝置,增加業務開發效率、提升生產力。
HiLens預置了豐富的模型和Skill能力,其中Skill由控制程式碼和模型組成,AI模型由ModelArts訓練,訓練後可以封裝為Skill開發基礎元件,簡化Skill開發。通過HiLens開發生成的Skill可以直接部署到有昇騰晶片的任何端側裝置中。同時HiLens也相容其他主流框架訓練的模型,在部署到端側裝置的過程中會將模型自動轉換為MindSpore模型,以提供最優效能表現。
在以往AI視覺場景落地的過程中,通常某種處理方法在研究和開發中表現良好,但在複雜多變的應用環境中,卻不時地出現問題。例如機器視覺檢測的人臉識別系統,在目標配合時識別率可高達95%以上,但在實際監控環境下,視覺檢測識別率就會大大下降。HiLens提供線上利用每個裝置獨有的部署環境資料,線上訓練針對裝置的個性化模型,提高模型精度,極大增強使用者體驗。
ModelArts和HiLens在大會發布當天均已上線華為雲EI平臺。
除了這兩個面向開發者的大殺器,華為雲EI的全家桶相比去年剛推出時也變得更加豐富了。
截至目前,華為雲EI已經上線45款服務142類功能,在解決方案層面,針對不同人群,華為雲EI提供通用API、高階API以及預整合解決方案三種不同型別服務。無論是資料科學家或資料演算法工程師、IT開發人員,甚至是沒有AI背景的業務人員,都可以在華為雲上找到解決絕大多數場景問題的解決方案。
可以看出,華為雲想要打造的是打通底層硬體到上層軟體應用、開發者與行業兩手抓的全方位AI生態體系,並且不是僅僅停留在想法、戰略或口號層面,這些都是華為雲已經做了和繼續在做的事情。
進擊的EI城市智慧體
在與大會同期開放的展臺上,華為AI的全場景全棧解決方案大部分都已經就位。上文提到的從全棧維度賦能開發者的ModelArts、HiLens等均有亮相,吸引了大量開發者的試用諮詢。基於華為Ascend(昇騰)系列晶片和業界主流異構計算部件的Atlas智慧計算平臺,通過模組、板卡、小站、一體機等豐富的產品形態,已經實現了將AI能力帶入雲、邊、端等全場景。
與此同時,華為雲EI行業解決方案的釋出和展示也同步進行,應用案例涵蓋了公共事業、交通、金融、物流、教育、零售等眾多行業,包括三大運營商、微軟、英特爾,以及專攻行業智慧的諸多企業都匯聚現場展示了他們藉助華為雲EI為各自業務帶來的智慧化變革。
去年9月,華為第二屆全聯接大會上,華為雲首次推出EI企業智慧,主要包括基礎平臺服務、通用服務(大資料、視覺認知、語音語義)、行業場景解決方案三大類;推出的當年,華為雲EI企業智慧迅速攻城略地,把智慧水務、智慧製造、智慧電力、智慧交通、智慧金融、智慧零售六大行業解決方案推向市場。
今年6月,華為集EI企業智慧、華為雲全棧能力大成於一身,推出EI交通智慧體和EI工業智慧體。華為雲EI智慧體不僅基於歷史的統計,更是實時感知、互動和優化,實現真正的智慧。今年的全連線大會正式釋出了華為雲EI城市智慧體,EI智慧體進一步升級。
針對行業智慧與AI結合,賈永利表示:“華為雲EI正從海量重複、專家經驗及多域協同等三大場景助力行業升級,實現效率提升、專業傳承和突破極限。”
其中,海量重複場景 主要是指在企業實踐中尋找高頻出現的重複場景,例如華為雲EI深度學習和影象搜尋服務,支援中國相簿每日數十萬新增版權圖片和數千萬網路圖片的自動入庫和交叉檢查,準確率達99%。
專家經驗場景是指通過融入專家積累和經驗(行業智慧),使AI達到專家助手水平。例如,第三方醫學檢驗機構金域醫學與華為雲EI合作,在宮頸癌病理檢測方面取得階段性突破,敏感度(真陽性率)超過99%,特異度(真陰性率)超過80%。
對於涉及引數眾多、依賴關係複雜、維度高的異常複雜場景——多域協同場景 ,比如工業生產、城市治理等, 人工智慧技術也為這些領域帶來了新思路、新方法。
華為雲EI城市智慧體就是多域協同場景的一個典型例子:在數字孿生的基礎上,通過AI協同雲、大資料、邊緣計算、物聯網等多種技術,實現從資料產生到資料分析、資料閉環的完整系統;通過數字世界強大的計算力,驅動物理世界更加智慧。
目前,EI城市智慧體在交通、應急、環保、水務、水利、燃氣等場景持續探索高效的資源排程與配置,以解決更多城市難題,在效率提升、能耗降低、綠色環保等方面均有實際落地案例。
來自深圳市公安局交通警察局的李強處長就用幾組實際數字分享了採用華為雲EI交通智慧體為業務帶來的顯著改變:
- 華為雲EI城市智慧體幫助深圳交警在2018年上半年通過部署開車打手機、未系安全帶、刷臉執法等AI應用,深圳交警執法量增加了15%;
- 深圳交警正在深圳龍崗阪田43個路口部署EI交通智慧體TrafficGo解決方案,試點線上訊號配時,關鍵路口等待時間平均縮短 17.7%;
- 構建新型運營指揮中心,深圳交警“鐵騎專項行動”應急反應時間縮短67%。
還有一個離我們更近的案例,來自深圳機場。當前深圳機場每天航班起降超過1000架次,靠橋率約為70%左右,每天客流量12萬人。通過“+AI”,同時進行基礎設施的智慧化改造,從傳統的甘特圖手工安排計劃到AI的自動化,能夠使靠橋率提升到80%。而這10%的提升,意味著每年將有400萬人不用坐擺渡車去遠機位。與此同時,深圳機場正在結合人臉識別實現機場一站式通關,目標是讓旅客的排隊時間減少15%。
Cloud 2.0時代,且看華為雲
未來,上雲會成為新常態,雲將是多數企業探索人工智慧的唯一環境,因為人工智慧需要海量的計算資源和儲存空間。 “雲+人工智慧”才是接下來推動產業變革的動力。
華為雲BU CTO張宇昕認為,Cloud2.0時代的來臨,相對於過去十幾年網際網路的發展有顯著的不同。
第一,企業開始上雲了,尤其是企業的關鍵應用開始上雲了。過去,雲僅應用於個人娛樂和消費領域,而Cloud2.0時代,雲已經進入了生產領域。
第二, 傳統的網際網路應用出現瓶頸。 過去,網際網路應用主要靠做流量紅利,誰能獲得更多的流量誰就能發展壯大。但是流量紅利終究會有天花板,而且流量紅利的模式很容易被複制。Cloud2.0時代新的網際網路業務的核心從流量紅利變成了資料紅利。
張宇昕認為,在Cloud1.0時代,解決客戶難題的技術關鍵詞是分散式、自動化、大規模彈性,而在Cloud 2.0時代,光有這些技術已經遠遠不夠。企業應用和網際網路應用除了要求安全可靠之外,還有對智慧化的普遍需求,這時拼的就是人工智慧、大資料,還有技術和全系統架構的實力。
正如我們在這次HC大會上所看到的,從晶片、硬體、整個資料中心開始,到基礎雲服務,再到應用開發的平臺、應用的開發部署運維平臺和工具框架,直到AI的基礎模型演算法和麵向領域的行業解決方案,華為雲已經在垂直軸向上實現了諸多技術突破,足以應對未來的企業智慧化挑戰。
Cloud2.0時代,且看華為雲還會帶給我們哪些驚喜。