雙11奇蹟背後的大資料平臺,不喧譁,自有聲!
00:02:05 成交額超100億
00:57:56 成交額超666億
01:47:26 成交額超1000億
15:49:39 成交額超1682億
22:28:37 成交額超2000億
2018年雙11新紀錄2135億
高速跳轉的數字,不斷重新整理的狀態,光纜中狂奔的程式碼,鍵盤上飛舞的手指…
新的記錄
絕非十年前的記錄
也非2017年的記錄
是資料開發工程師征服的記錄
是資料技術專家緊抓不放的記錄
是方案冷靜的記錄
是技術求精的記錄
是框架穩定的記錄
是系統健壯的記錄
資料平臺,計算創造價值
2004年,為了從大資料中分析當前狀況,並預測未來的趨勢,阿里擁有了第一個大資料倉庫,到2008年,淘寶的業務量與資料量已達到2004年的數千倍,為了讓資料成為生產資料,從底層重構大資料技術就顯得尤為重要。
2010年春,大資料引擎MaxCompute的前身SQL Engine第一版上線,執行在當時30臺機器的飛天叢集上。
2011年,飛天團隊開始探索支撐集團內部數倉業務,在1500臺機器上並行運行雲梯2的生產作業,並取得了不輸於Hadoop的效能和穩定性成績。
飛天5K專案之後,MaxCompute隨之進入5000臺機器和跨機房排程時代,並且可以在377秒完成100TB的排序。
現在,MaxCompute已經成為阿里巴巴的主力計算平臺,阿里巴巴集團99%的資料儲存以及95%的計算能力使用MaxCompute;每天有超過500萬個作業在平臺上執行。
2018完美支撐全球“最猛”交易洪峰
通過MaxCompute引擎助力,從2014年雙11開始,千人千面成為常態。MaxCompute作為11專案背後大規模計算的祕密武器,承受住了雙11期間大規模叢集、海量資料、高併發量的極大考驗。
MaxCompute單日資料處理量從2015年100PB,2016年180PB,到2017年320PB,再到2018年的單日處理超過500PB,不斷挑戰新極限,不斷重新整理新紀錄。同時MaxCompute平穩支撐電商混布單元線上流量洪峰12萬筆/s交易,穩定承載45%導購流量,順利完成1200臺DB業務混部的目標,為雙11交易峰值提供了有力保障和平滑支撐。
雙11期間,除了天貓、淘寶、阿里集團之外,MaxCompute還為金融、支付、新零售等各行業提供強有力的計算服務。
阿里大資料計算能力,走出集團服務全球
幾年過去,通過大資料與人工智慧演算法的結合,MaxCompute已成為ET大腦最重要的組成部分,ET城市大腦自動指揮城市路口訊號燈,並且成功應用於馬來西亞的交通治理;ET工業大腦推動工廠取得更好的良品率,致力於幫助製造企業提升1%的良品率。
從數字化阿里到數字化城市,MaxCompute可以承載EB級的資料儲存能力,成為全球首個100TB規模Bigbench測試通過的大資料計算平臺;在公共雲上覆蓋國內外的十幾個國家和地區,專有云上部署超過100+套。
MaxCompute不只是單一引擎,更是面向企業的完整服務。過去的10年中,MaxCompute穩定支撐阿里集團所有資料業務的同時,早已將強大的資料能力普惠給廣泛的雲上企業。基於MaxCompute構建穩定、安全、可擴充套件及與應用系統高效互動的資料中臺,已成為眾多行業下客戶數字轉型的首選方案。
從線上到線下,從生產製造到網際網路電商,從國內到海外,MaxCompute的計算能力正在延伸到各行各業,極大地降低了社會的計算成本。
每一次挑戰,都讓MaxCompute站在新的起點,不喧譁,自有聲,壯志在胸。