矽谷首場AI硬體峰會幹貨報告：AI晶片井噴期即將到來【附下載】| 智東西內參
智東西（公眾號： zhidxcom）
編 | 智東西內參
AI晶片不僅是未來十年半導體行業中最有希望的增長機會之一，而且還是有可能破壞傳統計算市場的力量。現今 99％的AI軟體尚未編寫，只有不到1％的雲伺服器用於AI加速（今年總計500+萬臺伺服器），企業伺服器活動幾乎為零。訓練和推理工作從低基數中倍增，說明市場似乎是一致的，因為今天的加速硬體（GPU、CPU、FPGA）遠遠不能滿足市場的要求。
吞吐量上還需要巨大的飛躍（現今100倍）才能使AI無處不在。好訊息是真正的架構創新即將出現，但需要時間才能生效：2019年以後，我們將看到新的工藝技術（7nm）、新的計算架構（晶片上的神經網路）、新的晶片互連（serdes 56/112GBs）、新的儲存器方法（HBM3、片上SRAM等）和新的封裝技術相結合，可帶來對數級效能的提升。因為不能太依賴工藝的縮減而進步，AI行業正在進行全面的創新。但長遠來看，臺積電等主要DRAM製造商還是AI晶片產業的主要受益者。
本期的智慧內參，我們推薦來自Arete的研究報告，詳解AI硬體峰會對未來的預測，2大科技巨頭及創業公司的AI晶片佈局。 如果想收藏本文的報告全文（Arete:AI晶片：未來計算的曙光），可以在智東西公眾號：（zhidxcom）回覆關鍵詞“ nc292 ”獲取。
以下為本期智慧內參整理呈現的乾貨：
1、AI硬體峰會的5大結論
上個月加州山景城舉辦的AI硬體峰會是目前唯一專門致力於開發用於神經網路和計算機視覺硬體加速器生態系統的活動。會上，來自 AI 晶片初創企業、半導體公司、系統供應商/ OEM、資料中心、企業、金融服務、投資者和基金經理等 250 多位先進技術領導者們，為新興的 AI 晶片市場構建了一幅全面的架構路線圖。
會上展示了許多AI晶片中另類創業者的狀態。其中有一件事是非常明確的：從未見過如此多的公司（無論大小）進攻這個新興晶片市場。就像今天的AI一樣，毫無疑問在接下來的幾年中，將會出現一個成果井噴期。繼谷歌的TPU之後，每個創業者都有正在研發的內部AI晶片程式。問題是這一切需要多長時間才能影響到市場情緒？畢竟，谷歌的TPU晶片已經到了第三代（在16年中期推出其第一個TPU之後），但仍然承載不了Tensorflow或其他框架的所有工作量。所以我們認為，2020年是許多AI晶片問世和量產的開始。
AI硬體峰會的5個重要結論：
1、臺積電中幾乎所有的AI加速晶片都使用了7nm工藝。此外，我們還發現大量新的高速介面晶片（Serdes 56/112GBs）將在19年擴充套件。
2、英偉達仍然是機器學習之王，其新的T4卡將會被廣泛接受。它將在19年繼續佔據主導地位。但長遠來看，我們仍然擔心AI會減少對CUDA和GPU的依賴。
3、英特爾有新的7nm AI晶片（由臺積電製造），我們認為這個晶片支援112GB的Serdes和高速DRAM。它還應該在明年的Cascade Lake伺服器中支援新的DL Boost INT8，並且速度增強11倍。
4、所有的雲端計算商都在開發內部的晶片，但問題是時機的選擇，因為計劃的增加是私密的。這種垂直推進是晶片製造商面臨的主要威脅。
5、在最近的5年，我們見證了新的奈米線取代了數字計算的模擬計算機的進步；矽光子學取代了Serdes（超過112 GB）和更高速記憶體驅動AI的效能提升。
新的AI晶片有兩種通用思路：
1、首先是擁有更快的I/O和外部儲存器介面的能夠擴充套件效能的系統，如英偉達，英特爾等。
2、其次是將所有資料儲存在晶片上（晶片上的神經網路），使用大量的小核心和片上儲存器來減少對外部DRAM的需求。
後一種方法將在未來六個月內會看到第一批商品化的晶片，但我們認為這需要7奈米工藝真正推動家用優勢的時候（即2020年）。圍繞AI的軟體也在快速發展，雲服務商也正在推出開源適配軟體，以支援在其框架中執行的各種晶片（例如，Tensorflow XLA、Facebook Glow）。隨著新神經網路的成熟，每個人都意識到了可程式設計性和靈活性的重要性。隱含的目標是在7nm的FP16上達到每瓦特至少10 TOPS（比現在好10倍），並且通過更好地支援稀疏性，更低的精度、更小的批量、更快的晶片互連（112GB Serdes）、更快的儲存器介面（遠遠超出HBM2）以及新的多晶片高階封裝真正提高效率和效能。
2、英特爾：AI晶片扮裝者
儘管人們普遍轉向依賴通用CPU，但對於英特爾計劃在未來幾年內為AI引入的一些新優化措施，大家並未給予足夠的信任。英特爾去年的AI收入大約為10億美元（2017年），至強CPU將繼續在AI推理和訓練中發揮重要作用。例如，在Cascade Lake中，英特爾在架構中提供了大量新指令，以提高推理效能（聲稱在支援INT8精度的情況下效能提升11倍）。我們預計這些擴充套件將與AMD EPYC2規格區別開來。
英特爾的下一代Nervana ASIC晶片將在臺積電（7nm工藝）製造，並將擁有一些關鍵的專有介面，可顯著提升效能。雖然GPU現在以低速（PCIE-3）連線到CPU，預計新伺服器將支援PCIE-4（16GB），但這仍然是資料輸入GPU的關鍵瓶頸。相比之下，英特爾或將在其Xeon CPU和7nm Nervana晶片之間構建專有介面，速度高達112GB。英特爾可能計劃推出一種新的高頻寬儲存器介面（對雲端計算商而言是一個關鍵的關注點），並積極參與新的多晶片封裝。雖然向AI加速的轉變將導致更多的CPU被解除安裝，但英特爾希望通過在Xeon周圍構建外圍解決方案來獲取價值。時間將證明這是否有效，但規格的突破顯然揭示了英特爾的目標是在2020年取代英偉達的地位。
3、英偉達：暫時的旗艦
英偉達的GPU目前仍然是AI計算的王者，他們擁有真正的在位優勢（支援所有框架、所有云服務商、所有OEM），並且其新產品具有顯著的效能提升，我們認為T4將得到廣泛採用並且其新的DGX2伺服器今年已售罄。雖然目前幾乎沒有令人信服的替代方案，而且我們也認為NVIDIA將繼續佔據主導地位（至少到2019年），但有兩個主要問題影響英偉達可以在多大程度上長期維持其領導地位：
1、首先，我們認為很明顯英偉達軟體壕溝（CUDA）將變得不那麼重要，因為像谷歌、ONNX都努力推進了他們的堆疊並建立了開發者生態系統。雲服務商現在正在積極提供替代晶片解決方案的開源外掛，以支援Tensorflow、Pytorch、CNTK、Caffe2等框架，降低了新AI處理器的入門軟體門檻。
2、其次，是英偉達訓練和推理晶片的經濟性，雖然它們可以為許多AI工作負載節省CPU，但是銷售的GPU卡的超高利潤率與昂貴的記憶體捆綁在一起（V100每卡10萬美元，P4可能每個2萬美元）只會讓雲端使用者擁抱其他架構。
也就是說，英偉達擁有大量資源來投資競爭對手（尤其是初創公司），它致力於每年為AI推出一種新的架構，它可能會在2019年下半年首先推出7nm解決方案。 V100和T4都被視為英偉達首款用於AI的轉換晶片（遠離通用型GPU），因為它們是第一款支援張量核心和更低推理精度的晶片（INT8）。
預計19年新品的功能將再次大幅提升英偉達7nm AI加速晶片，將會有很多明顯的效率改進可以大幅提高吞吐量和延遲。我們預計它的下一代將更多地是以AI為中心的ASIC而不是GPU。雲客戶告訴我們，他們從V100 GPU獲得的利用率很低（低至15％），因為他們每個GPU只訓練一個神經網路。他們希望英偉達能夠虛擬化他們的GPU ，儘管這可能會給英偉達的GPU增長帶來壓力，甚至減少對AI計算晶片的需求。此外，今天英偉達擁有快速晶片到晶片介面（NVlink2），執行速度為25Gbs（遠遠超過標準PCIE-3連線，僅8GB或PCIE-4，16GB），我們預計到19年年底英偉達將推出對56Gbs甚至112GB serdes的支援，因為有些替代方案可以提升這些規格。我們認為英偉達的下一代架構將於2019年下半年釋出（超越Volta / Turing），並將在很大程度上決定其在多大程度上可以繼續佔領市場。
▲微軟在AI計算選擇上的章節迎合了我們的觀點，即gpu需要快速發展
4、另類AI晶片創業公司的時代到來
在谷歌TPU的帶頭下，每個雲服務商都有內部的AI晶片程式，我們認為這可能會在未來18個月內得到驗證。有些已經公開表達他們的意圖，微軟甚至在峰會上有一個招聘廣告，說明它渴望建立自己的團隊。但這些專案所處的狀態還不清楚：雲服務商不會分享任何他們的硬體計劃細節 ，所以我們不知道他們處於什麼發展階段。我們認為第一次轉換晶片將重點關注推理，就像谷歌兩年前對TPU所做的那樣。
來自谷歌大腦的演示展示了一種諷刺，即隨著晶片行業達到摩爾定律的極限，AI計算的增長竟還能呈指數級增長，因此架構（和軟體協同設計）將成為關鍵的推動者。谷歌不僅將TPU用於越來越多的工作負載，而且繼續使用GPU，並將測試大量新系統上市。 50多家創業公司的工作已經縮減，以便將他們的平臺商業化，我們預計未來12個月內將有6家公司推出首款加速晶片，2020年開始推出第二款（7nm工藝）。一些AI初創公司在19年可能會達到1億美元的銷售額，但我們還看不到是否有人能在2020年之前突破這一點。有許多令人印象深刻的初創公司，但其中許多還沒有流片，因此很難對效能宣告進行驗證。
雲服務商希望瞭解新的AI晶片的系統性能，因此他們建立了一個名為MLPerf的基準測試標準。我們認為這將是分析特定模型的訓練時間的關鍵標準 ，並且有助於與當前市場領導者英偉達（尚未加入MLPerf）的訓練平臺進行比較。很明顯，許多初創公司從未提供產品給主要的雲資料中心，或者已經建立了領先的晶片。此外，只有少數參與者具有詳細的雲端計算關係或在如何圍繞關鍵型任務雲端計算晶片建立工程團隊方面擁有豐富經驗。
▲MLPerf將在一系列資料集和模型中獲得人工智慧晶片訓練時間
5、雲加速：巨大的市場機會
今天看一下現在典型的雲伺服器配置（2插槽，10核Xeon E5是最受歡迎的銷售平臺之一），它包含大約660平方毫米的矽芯片面積來處理主CPU計算（即兩個330平方毫米的CPU晶片，主要由英特爾提供）。但是用於AI的加速伺服器（例如NVIDIA DGX-1）通常具有多達10倍的矽面積來處理加速度計算，如下圖所示。加速芯片面積與CPU芯片面積的比率僅會增加我們看到每個CPU從四個加速卡上升到每個CPU的六個和八個卡隨著時間的推移。我們認為谷歌計劃明年增加三倍的TPU晶片。
英偉達在訓練方面可能會繼續大幅增長，同時還有大量的AI創業公司。由於AI伺服器目前在市場上的滲透率很低（今年購買的雲伺服器不到1％支援加速），臺積電的長期前景非常好。如果我們假設這種滲透率上升到100萬臺加速AI伺服器（今年小於5萬），並且芯片面積保持不變（即每個AI伺服器6,560平方毫米），這將轉化為大約每年20萬片晶圓，或30億美元的代工收入（假設每片晶15,000美元，收益率55％）。這就是為什麼臺積電會作為AI晶片長期的主要受益者之一。
▲AI加速訓練伺服器的芯片面積比大多數Xeon伺服器大10倍
6、長遠的新技術
峰會期間還有許多其他新興技術，未來在3到5年的視野中看起來很有趣。AI的邊緣計算顯然正在智慧手機中進行，我們堅信每部智慧手機都將在未來2-3年內擁有專用的計算機視覺AI處理器（在相機周圍）。谷歌的Edge TPU和英偉達的DLA是早期可授權的例子，我們看到ARM現在提供專用的AI許可證解決方案，而Qualcomm、Hisilicon、Cambricon和MediaTek則提供一系列智慧手機和物聯網解決方案。一系列具有增強AI規格的嵌入式SOC即將推出 ，適用於相機、機器人、汽車等。英偉達的Xavier就是一個例子。我們將在即將釋出的報告中研究自動駕駛汽車的汽車路線圖，其中AI加速將發揮核心作用。
從長遠來看，我們可以看到正在開發的一些擴充套件計算效能新技術，以應對摩爾定律的挑戰。其中一個更令人印象深刻的演講是來自Rain Neuromorphics和Mythic，他們看到模擬計算在5年的時間內商業化可能，使用鬆散的幾何形狀，圍繞晶片內部的奈米線（如人腦中的突觸）解決功率限制。此外，Ayar Labs闡述了矽光子微型化方面的突破引起的更快的晶片互連（超過112GB Serdes）的解決方案。隨著Exascale計算機預計將在3-4年內出現在我們面前，我們認為AI正在全面推動新思路研發，將實現效能的指數增長。
智東西認為，隨著摩爾定律的終結，AI的發展不能指望摩爾定律帶來的效能提升，尤其是AI晶片的發展。英偉達雖然目前處於行業領先地位，但很有可能被英特爾或新的創業公司超越。不遠的未來AI晶片將是一個井噴的行業，而這個行業最大的受益者將是臺積電。希望內地的相關企業也能在這一波浪潮中抓住機遇，改變我國缺芯的局面。
下載提醒：如果想收藏本文的報告全文， 可以在智東西（公眾號：zhidxcom）回覆關鍵詞“nc292”獲取。
智慧內參
權威資料·專業解讀 讀懂智慧行業必看的報告
在智東西回覆“智慧內參”檢視全部報告
