為什麼說,大資料是從流式計算開始切入的?
大資料說了很多年,我說雷聲大,雨點小,這您同意嗎?
為什麼?
關鍵在創造的價值,如果僅僅是輔助決策,效果難以顯現,如何才能夠立竿見影?從技術上,對應的就是流式計算,因為它對應的是業務,能夠帶來收入的應用。
什麼是流式大資料?有哪些應用?現在就讓我們一起回顧下流計算平臺的發展歷史,以及如何在企業中運用。
流計算在蘇寧的前世今生
課程簡介:1. 流計算平臺的發展歷程
2014年到現在4年多的發展歷程,經歷storm->spark streaming->flink的轉變,目前在轉變中。
2. storm及spark streaming的缺點&我們為什麼選擇flink?
(1)兼顧吞吐量和延時;(2)高效的狀態管理;(3)Exactly-Once的保證;(4)Event-Time
3. 關於flink,我們做了哪些工作?
(1)平臺層功能豐富:sql語法豐富(distinct,流表join),運算元自動擴縮容,connector(mysql, hbase,kafka1.0),sink降速;(2)工具層:統一日誌收集及展示、統一監控管理平臺(平臺層&業務層);(3)服務層:Dlink 一站式開發平臺。
4. 未來展望
資料整合 && 機器學習 && CEP 等
講師介紹:蘇寧易購IT總部大資料平臺高階技術經理陳豐,負責蘇寧易購集團大資料流計算平臺建設,包括Storm、SparkStreaming、Flink等元件,經歷了流計算從元件化到平臺服務化到智慧化的發展過程。對大資料開源框架有較為豐富的經驗,在分散式計算架構設計和系統優化方面有自己的思考和領悟。
流式大資料和即時互動式分析技術
課程簡介:大資料技術逐漸變成企業的標配,漫長的等待資料分析結果已經不合時宜,延遲更低的流式大資料處理技術,即時分析變得越來越重要。在本論壇將給大家帶來行業中領先的流式大資料,即時互動式分析技術的相關分享。
講師介紹:TalkingData研發副總裁閻志濤,現任TalkingData研發副總裁,領導研發了公司的資料管理平臺(DMP)、資料觀象臺等產品,並且負責公司大資料計算平臺的研發。目前專注於構建一個融合多種計算模型,支援機器學習和資料探勘的大資料計算平臺。關注Spark、Hadoop、HBase、MongoDB等技術。超過15年的IT領域從業經驗,一直從事大規模分散式計算系統、中介軟體、BI等相關工作。
流式計算在內容資訊推薦服務的應用
課程簡介:流式計算一直是近年來赤手可熱的專業技術話題,內容資訊也是網際網路發展近20年來一致持續受資本青睞的創業方向,本期內容主要是向大家介紹流式計算在內容資訊推薦方面的應用,給大家介紹當前主流資訊推薦服務流程,介紹其中使用者畫像的實時更新,這個也正是流式計算的典型應用。
講師介紹:中東新媒體首席架構師王成光,曾先後在百麗電商優購、搜狐、網易、一點資訊任職架構師、技術專家等職位,一直從事搜尋、資料探勘和個性化推薦的設計、研發工作,曾多次從零構建完整的搜尋和推薦系統,曾開源輕量級分散式實時計算框架light_drtc,並於2016年出版《分散式實時計算框架原理及實踐案例》。
【本文版權歸儲存線上所有,未經許可不得轉載。文章僅代表作者看法,如有不同觀點,歡迎新增儲存線上微信公眾號(微訊號:doitmedia)進行交流。】