亞馬遜推出AI晶片、定製CPU：入局晶片軍備競賽

「Inferentia 將會是一款超高吞吐量、低延遲、效能強大，且功耗比極佳的處理器，」AWS執行長 Andy Jassy 在釋出中介紹道。

對於亞馬遜來說，這或許是必然要走的一步。來自 Constellation Research 的分析師 Holger Mueller 對此表示，亞馬遜在自研晶片上遠遠落後於其他巨頭，但這一步頗具意義，在未來這家公司或許會嘗試不同的機器學習方法。

Inferentia 支援 INT8、FP16 等流行框架以及混合精度。此外，它也支援TensorFlow、Caffe2 和 ONNX 等機器學習框架。

當然，作為亞馬遜的產品，它也支援處理AWS產品中的資料，例如 EC2、SageMaker，以及今天公佈的 Elastic推理引擎。這款產品專為推理而設計，這方面與專為訓練機器學習模型設計的谷歌 TPU 不同。Jassy 表示，目前為機器學習計算設計加速器的晶片公司——如其中最大的英偉達——已經投入巨大精力對於模型訓練進行優化，這就是AWS決定專注於設計更好的推理晶片的原因。

亞馬遜稱，若在已訓練模型的基礎上進行推理任務，Inferentia 晶片可以擔負 90% 的算力。通過使用AmazonElastic Inference，開發者們可以通過將 GPU 驅動的推理加速功能附加到AmazonEC2 和AmazonSageMaker 例項上，將推理成本降低多至 75％左右。

亞馬遜Inferentia機器學習晶片的原型，這款晶片由 Annapurna Labs 設計。圖片來自亞馬遜副總裁、傑出工程師 James Hamilton。

與亞馬遜此前的定製 Arm 處理器 Graviton 一樣，Inferentia 是這家公司在 2015 年收購的以色列創業公司 Annapurna 的幫助下設計的。在 Inferentia 之前不久，亞馬遜還發布了 Graviton 晶片——這是一款基於 ARM Cortex-A72 架構的定製化 CPU 處理器，其最高時鐘速度為 2.3GHz。

開啟科技巨頭自研機器學習晶片風潮的公司是谷歌。2016 年，谷歌就正式釋出了 TPU（其時谷歌已在內部使用 TPU 超過一年時間了），時至今天，TPU 已經發展到了第三代。這款產品的算力也已經成為谷歌雲服務的一部分，可為所有開發者提供算力支援。亞馬遜的最大競爭對手微軟 Azure 尚未推出自己的處理器。當然，所有三家公司的機器學習雲服務算力主要基於英偉達 GPU。此外，AWS和 Azure 還提供用於機器學習的 FPGA 服務。

雖然亞馬遜今天對外發布了此晶片，但AWSCEO Andy Jassy 表示 Inferentia 在明年之前不會上線。在釋出會上，亞馬遜也沒有公佈有關這款晶片的更多技術細節。該公司表示，每塊 Inferentia 晶片可提供「提供數百 TOPS」的推理吞吐量...... 為獲得更高效能，可以將多個AWSInferentia 晶片並聯實現數千 TOPS 的吞吐量。

目前的 AI 專用晶片在效能指標上最為強大的是華為今年 10 月推出的 ofollow,noindex">昇騰 910 ，據稱其半精度（FP16）算力可達 256TFLOPS，最大功耗為 350W。

在雲服務方面，亞馬遜正在成為行業領導者，而其推出的 AI 晶片與定製化 CPU，勢必更將鞏固這家公司的領先地位。

參考連結：https://techcrunch.com/2018/11/28/aws-announces-new-inferentia-machine-learning-chip/