通用計算機時代,終結!
計算機行業經歷了一段非凡的增長和穩定時期,摩爾定律功不可沒。電晶體密度穩步翻番不僅推動了五十年來處理器的大幅提升,還推動了通用計算模式的興起。不過據麻省理工學院(MIT)和亞琛大學的兩位研究人員聲稱,這一切都將要結束了。
Neil Thompson是MIT電腦科學和AI實驗室的研究科學家兼哈佛大學的客座教授,Svenja Spanuth是亞琛工業大學的研究生。他們倆表示,摩爾定律的瓦解以及深度學習和加密貨幣挖掘等新應用的出現,正促使行業遠離通用微處理器,轉向一種青睞專用微處理器的模式。 他們倆表示:“通用計算機晶片的崛起一直很惹人注目,殞落可能也同樣惹人注目。”
正如他們倆指出,通用計算並非始終是常態。在超級計算的早期階段,來自克雷(Cray)等公司的定製向量架構主導了高效能運算(HPC)行業。如今這種架構仍存在於NEC製造的向量系統中。但由於摩爾定律在過去幾十年大幅提升電晶體的價效比,經濟因素使得通用處理器大受青睞。
這主要是由於開發和製造定製晶片的成本在3000萬到8000萬美元之間。因此,即使對需要高效能微處理器的使用者而言,縮小通用處理器中電晶體的尺寸使得定製解決方案帶來的任何最初的效能提升蕩然無存,採用專用架構的好處很快消失殆盡。同時,縮小電晶體尺寸的成本可以分攤到數百萬個處理器上。
但摩爾定律帶來的計算經濟因素正在發生變化。近些年來,隨著基礎半導體材料的物理限制開始凸顯出來,縮小電晶體尺寸的成本變得極其高昂。論文作者指出,在過去的25年裡,製造一家先進晶片製造廠的成本每年增長11%。2017年,半導體行業協會估計新建一家晶片製造廠要花費約70億美元。這不僅抬高了晶片製造商的固定成本,還將半導體制造商的數量從2002年的25家減少到今天的4家:英特爾、臺積電(TSMC)、三星和格羅方德。
研究團隊還提到了美國勞工統計局(BLS)的一份報告,該報告試圖量化微處理器的價效比。按這個尺度來衡量,BLS發現提升幅度從2000年至2004年的每年48%下降到2004年至2008年的每年29%,繼而下降到2008年至2013年的每年8%。
這一切從根本上改變了縮小電晶體尺寸的成本/效益。正如論文作者特別指出,由於建造和運營新晶片製造廠的費用節節攀升,英特爾的固定成本有史以來第一次超過其可變成本。更令人不安的是,三星和高通等公司現在認為,在採用最新工藝的節點上製造電晶體的成本正在增加,進一步打消了製造商力求生產更小尺寸的電晶體的積極性。這可能也是格羅方德最近決定放棄7nm技術背後的原因。
原因不僅僅是摩爾定律日漸式微。促進專用處理器的另一個驅動因素是,出現了一批通用計算無法滿足需求的新應用。首先出現了移動裝置和物聯網(IoT)之類的平臺,它們在能源效率和成本方面有很高要求,而且大批量部署,這就勢必需要定製晶片,儘管摩爾定律相對較穩健。要求更苛嚴的低批量應用(比如軍用和航空硬體)也有助於特殊用途設計。但論文作者認為,真正讓這個行業面臨分水嶺時刻的是深度學習,這類應用涵蓋幾乎各種移動環境:移動、桌面、嵌入式、雲端計算和超級計算。
深度學習及其青睞的硬體平臺GPU是計算從通用處理器走向專用處理器的一個最明顯的例子。GPU被視為一種半專用的計算架構,由於能夠比CPU更有效地進行資料並行處理,已成為訓練深度神經網路的事實上的平臺。論文作者指出,雖然GPU現在還被用來加快科學工程應用,但讓進一步的專門化成為可能的卻是深度學習這種高容量應用。當然,GPU已經在桌面遊戲領域擁有成熟的業務,GPU最初是針對桌面遊戲這種應用設計的。
但就深度學習而言,GPU可能只是相當於“誘導性毒品”(gateway drug)。英特爾、富士通和另外十多家初創公司已經在研製AI和深度學習晶片。谷歌專門用於訓練和使用神經網路的自家張量處理單元(TPU)目前處於第三個版本。論文作者寫道:“研製一款定製的處理器對谷歌而言非常費錢,專家估計固定成本高達數千萬美元。不過好處也很大――專家稱,效能提升相當於摩爾定律的七年;避免的基礎設施成本使得它物有所值。”
Thompson和Spanuth還特別指出,專用處理器日益應用於超級計算。他們提到2018年11月的TOP500排名顯示,專用處理器(主要是英偉達GPU)而不是CPU首次成為效能提升的主要來源。論文作者還對排名表進行了迴歸分析,結果顯示“搭載專用處理器的超級計算機每瓦特所能執行的計算次數幾乎是只使用通用處理器的超級計算機的五倍,而這個結果非常具有統計意義。”
Thompson和Spanuth提供了一個數學模型,用於確定專用處理器的成本/收益,考慮到了開發定製晶片的固定成本、晶片數量、定製實現所帶來的加速以及處理器提升的速度。由於後者與摩爾定律聯絡在一起,因此緩慢的步伐意味著即使預期的提升比較適中,更容易證明使用專用晶片的合理性。
論文作者聲稱:“因此,對於許多(但並非全部)應用而言,現在使用專用處理器在經濟上是可行的,至少在硬體方面是這樣。換一個角度來看,在2000年至2004年期間,市場規模約83000個處理器的應用將需要專用處理器效能提升100倍才划算。而在2008年至2013年,這種處理器只需要提升2倍就行。”
Thompson和Spanuth還考慮到了為專用處理器改寫應用軟體的額外費用,他們估計每行程式碼的費用是11美元。這在一定程度上使這種模式複雜化,因為你得考慮到程式碼庫大小,而程式碼庫並不總是很容易跟蹤查明。在這裡,他們還指出:一旦程式碼重新開發工作完成,往往會阻止程式碼庫回到通用平臺上。
結論就是,摩爾定律的慢慢消亡揭示了過去的創新、市場擴張和再投資這個良性迴圈。但隨著更多的專用晶片開始蠶食計算機行業的份額,這個週期變得支離破碎。由於較少的使用者採用使用最新制造工藝的節點,為晶片製造籌集資金變得更困難,這進一步減緩了技術進步。其影響是,計算機行業分散成了多個專門領域。
由於規模和適用於專用硬體,其中一些領域(比如深度學習)將會處於快車道。論文作者表示,然而像資料庫處理這些領域雖然廣泛使用,但可能會成為一潭死水,因為這種型別的事務計算並不有助於專用晶片。不過氣候建模等其他領域太狹小,用不著自己的定製晶片,不過它們有望從中得益。
論文作者預料,雲端計算會為較小、較偏冷的社群提供眾多基礎設施,在某種程度上減弱這種差異性的影響。更多的專用雲資源(比如GPU、FPGA以及谷歌的TPU)越來越普遍,這意味著富人和窮人能夠在更平等的平臺上同臺競技。
這並不意味著CPU甚至GPU會失敗。雖然論文作者沒有深入研究這個方面,但專用、半專用和通用的計算引擎整合到同一晶片或處理器封裝件中的可能性相當大。一些晶片製造商已經走上了這條道路。
比如說,英偉達在其Volta這一代GPU中採用了Tensor Cores,這是專門用於深度學習的專用電路。這麼一來,英偉達就能夠提供一個既支援傳統超級計算模擬,又支援深度學習應用的平臺。同樣,CPU正與專用邏輯部件整合起來,用於加密/解密、圖形加速、訊號處理,當然還有深度學習等應用。期待這種趨勢會繼續下去。