容量PB級 浪潮為成彭高速搭建監控海量儲存平臺
成彭高速起於成都繞城高速,至於彭州市牡丹大道,長達 19 公里。浪潮基於軟體定義儲存 AS13000 ,為成彭高速視訊監控系統提供 PB 級海量資料平臺,滿足卡口、路況監控等場景的資料儲存、使用需求,以資料慧眼全程護航成彭高速。
成彭高速擴容改造 監控資料近 1PB
成彭高速公路於2004年10月1日建成通車,全長19公里,雙向四車道,起於成都繞城高速公路大豐立交橋,止於彭州市牡丹大道。該路的建成,實現了成都市所轄所有區、市、縣都通高速公路的目標。而作為四川首條“四改八”高速公路,2016年10月1日,成彭高速擴容改造工程正式開工建設。
浪潮軟體定義儲存助成彭高速打造PB級視訊監控系統
成彭高速擴容改造工程採取在既有道路兩邊加寬的方式,從主線收費站入口至成彭高速的成德綿立交處,共18公里,全線由4車道拓寬為8車道。同時,還對繞城高速大豐立交進行改造,新建部分匝道,實現繞城高速與成彭高速的直接轉換。作為改造工程的重點,成彭高速視訊監控系統主要包括收費站子系統、隧道子系統、外場監控子系統、服務區監控子系統、路段監控分中心、交通訊息採集與釋出子系統等,以實現對收費站、隧道、服務區等區域的監控。
成彭高速視訊監控儲存系統需要對沿線交通卡口、電子警察、監控攝像頭等裝置所產生的資料做儲存,其資料型別包括視訊資料、圖片資料以及結構化資料等。
第一,產生海量資料。成彭高速新增綜合檢測和雷達測速子系統145套,其中不低於500萬畫素的137套,不低於800萬畫素的8套。同時,新增事件檢測子系統64套、智慧交通監控102套。根據現網獲取資料的場景,一方面在路況監拍方面需要大檔案的連續寫入與隨機讀取,並按照儲存週期進行迴圈覆蓋。另一方面在卡口場景,一個通用卡口一天可以產生1萬張以上300KB至1MB不等的圖片檔案,且儲存週期長,需要分散式儲存來承載海量資料。
第二,併發讀取量大。在對交通流量、車速、車道佔有率和車輛排隊長度、車頭時距等交通大資料進行分析時,需要儲存系統提供高併發吞吐,給大資料應用提供資料支撐。
浪潮 SDS :基於元資料叢集、小檔案聚合技術進行創新
針對成彭高速監控系統中面臨的PB級儲存挑戰,浪潮採用了軟體定義儲存AS13000系列解決方案,基於場景化定製,以高速交通資料儲存和應用特點為基礎,解決成彭高速現有系統的難點、痛點。
首先,通過軟體定義儲存構建海量儲存平臺,並採用元資料叢集避免效能瓶頸。系統共有7個AS13000M3節點,單節點配備2塊800GB資料中心級SSD、3.5英寸SATA3機械盤(單盤容量為4TB),節點磁碟滿配置,系統裸容量達874T,使用容量達561T,充分滿足了成彭高速海量資料儲存需求。
浪潮軟體定義儲存AS13000
其次,通過小檔案聚合進行效能優化。視訊監控系統中存在著圖片等大量小檔案,浪潮軟體定義儲存AS13000底層儲存系統採用小檔案聚合技術提升讀寫效能。小檔案聚合是指使用者在指定的聚合目錄下,對小於一定大小的檔案(預設512KB)以緊密聚合對齊(4MB)的方式寫入聚合檔案中,從而減少資料寫入磁碟次數,提高小檔案讀寫效能,將小檔案的儲存效能進行優化。此外,浪潮軟體定義儲存還採用了目錄負載均衡技術、SSD加速技術,使得資料效能隨節點增加而擬線性提升,便於成彭高速監控系統後續的大資料分析以及多平臺的快速響應。專案建成後,浪潮軟體定義儲存系統,8小時內能夠為成彭高速完成不低於500萬圖片檔案(500-800KB)的1次寫、4次讀和1次刪除操作。
值得一提的是,浪潮儲存在本地擁有固定的技術支撐團隊,開發工程師在部署期間全程幫助進行現場系統調優及相關裝置部署,並按使用者需求搭建實測環境,所有裝置應用均通過測試要求;未來還將提供原廠商3年7*24免費上門、4小時快速響應服務,保證使用者良好的應用體驗。
聚焦場景化應用
浪潮儲存通過聚焦場景化應用,打造公路行業的專業儲存產品,幫助使用者應對高速公路的管理難題。在成彭高速視訊監控系統中,高效的儲存系統幫助當地交管部門通過對資訊的實時採集、分析、處理和預測,採取有效的交通控制手段,預防可能發生的交通事件、事故和阻塞,提高了路網執行的利用效率和安全性。
除此之外,浪潮儲存還在各個場景交付了大量PB級工程,包括軟體定義儲存AS13000在某資源中心一套70PB系統、某運營商數十套PB級系統、某省政務雲90個節點20PB容量專案、成都三環路20PB容量視訊監控系統、廣電總局141個節點10PB雲平臺,以及華強方特公司5PB、千萬級小檔案併發效能動漫製作平臺的應用部署。
【本文版權歸儲存線上所有,未經許可不得轉載。文章僅代表作者看法,如有不同觀點,歡迎新增儲存線上微信公眾號(微訊號:doitmedia)進行交流。】