浪潮雲海OS升級大資料管理能力,成為數字化轉型利器
當今世界,網路資訊科技日新月異,大資料等新一代資訊科技的出現,推動智慧產業、智慧產業、各類大腦等應運而生,推動社會從資訊科技時代進入智慧科技時代。
政策與需求共推大資料應用向前發展,雲平臺升級迫在眉睫
近年來,我國大資料產業發展取得了顯著的成效:
一是發展環境持續優化。國家層面《促進大資料發展行動綱要》等檔案,加快落地實施國家大資料綜合實驗區公共資訊資源開放,有關大資料的相關政策和檔案。多層次協同推進大資料發展的管理,應該說已經基本形成。
二是產業生產加速,技術創新不斷取得新突破。湧現出一批有帶動力和影響力的龍頭企業,以及眾多創新特色輸出的中小企業,上下游企業密切互動的產業格局初步形成。
三是大資料應用已經從網際網路營銷、廣告等領域逐步向電信、交通、金融、醫療、教育、政務等廣泛滲透,有戰略性的大資料典型應用的案例不斷湧現。大資料與各行各業的深度融合是新動能在加快的推進,是全社會應用大資料的氛圍越加濃厚。
大資料產業的迅速發展,使得各行各業的企事業單位的業務產生大量資料。傳統的雲平臺通常採用IaaS-PaaS-SaaS(亦即基礎設施即服務-平臺即服務-應用即服務)三層解耦方式部署,不同層、不同應用、不同租戶的資料的整個生命週期都是孤立的,這種方式在一定程度上存在與業務關聯性不足、資料管理混亂、無法做到資料共享及隔離等問題,隨著平臺的擴充套件,資料會呈現指數級上升,而運維、運營難度亦陡然增加,企業雲與大資料融合和治理迫在眉睫。
浪潮雲海OS升級大資料管理能力,為IT轉型上好“四保險”
浪潮將雲平臺與大資料深度融合,增加大資料服務層(DaaS),實現平臺內部自下而上所有資料的整合和治理,IaaS、PaaS、DaaS、SaaS統一許可權管理,並以統一目錄方式對租戶提供服務。
浪潮雲數融合方案部署架構圖
生產環境注重業務連續、平臺穩定及資料安全性,考慮到大資料處理效率、HDFS多副本導致的冗餘消耗及大資料應用的快速開發部署等諸多因素,浪潮採用大資料平臺物理機部署、大資料應用雲上部署、“雲上”應用呼叫“雲下”大資料平臺能力,並通過統一雲管平臺實現虛擬叢集及大資料叢集的統一管理(智慧監控,運維自動化、計量計費)、使用者統一認證並提供統一的對外服務目錄,實現了高效大資料處理、合理資料冗餘、快速的應用部署、以及基於RBAC許可權訪問和以VDC維度的資源管理,最大限度發揮雲端計算與大資料融合的優勢。
在IaaS層,使用浪潮雲海平臺InCloud OpenStack及大資料平臺InCloud Insight實現物理裝置(伺服器、儲存、網路等)雲化,並形成虛擬化資源池、裸金屬資源池及大資料資源池,向上層提供計算虛擬化、儲存虛擬化(塊儲存服務、物件儲存服務、檔案儲存服務)、網路虛擬化及大資料服務。
在PaaS層,通過基礎環境介面卡(Cloud Provider Interface),浪潮彈性分散式作業系統(IOP)能夠直接呼叫IaaS能力,並向上提供基礎資源服務、計算服務、資料/大資料服務、應用中介軟體服務、開發支撐服務及多媒體處理服務等六大類功能。其中基礎資源服務包含彈性雲主機服務、物件儲存服務、負載均衡服務、網路服務及VDC服務。計算服務則利用大資料能力提供離線計算服務(用於批量計算、指標彙總計算、資料探勘等場景)、實時計算服務(用於TB級以上資料實時讀寫和資料實時分析等場景)、流式計算服務(用於實時布控、實時監控預警、實時統計等實時性要求非常高的場景)、記憶體計算服務(用於批處理,SQL查詢,流式處理以及機器學習等),全方位支撐上層的資料治理和應用。
浪潮雲數融合方案IaaS&PaaS架構圖
在DaaS層,由資料整合、資料治理、資料處理、資料服務組成,覆蓋資料從產生、傳輸、儲存、初加工、細加工到應用及銷燬的全生命週期。以資料資源為核心的理念,充分利用雲平臺基礎設施與雲平臺提供的各類計算服務,對業務各種來源的各種類別資料進行整合彙集、儲存組織、分析處理以及標準化管理,並以服務、介面等形式提供給上層各類應用。在資料整合階段,能夠接受不同資料來源(如內網資料庫、行業檔案庫、應用系統日誌等)和不同資料型別(結構化資料、非結構化資料、半結構化資料等),並提供整合工具及資料格式轉換工具實現資料標準化,上層應用可無差別地呼叫各類資料。資料整合之後會進入資料治理環節,實現資料類別規劃(定義不同安全要求等級資料不同的訪問許可權及方式)、資料質量管理(劃分資料質量等級及儲存方式)、資料倉庫(可根據業務維度劃分)及資料服務匯流排(提供資料訪問控制)。而資料處理層則負責提供面向業務的各類功能引擎(檔案引擎、索引引擎、對比引擎、分析引擎及計算引擎等)及相應的排程服務,上層應用可通過提交任務形式呼叫以上引擎服務,輕鬆實現資料的併發非同步呼叫。資料是企業的重要資產,為最大化提高資料的價值,平臺對外提供資料資產運營中心,實現資料資產超市、資料資產管理、資料共享交換機資料價值評估。上述所有資料加工環節,均以RPC或API介面方式對應用開放服務,以專業的資料服務使得應用層能更加聚焦業務的孵化和加速。
浪潮雲數融合方案DaaS架構圖
在SaaS層,分為兩方面應用:基礎應用(郵件、辦公應用、日誌系統等)和業務自定義應用。通過呼叫IaaS、PaaS、DaaS層服務介面,應用開發商可快速完成高可用、高併發的業務應用的開發和部署。
通過這四層,浪潮雲數融合方案能夠提供全方位的IaaS-PaaS-Daas-SaaS雲化能力,亦提供了計算能力強大,覆蓋離線計算、線上計算、記憶體計算、流計算等典型大資料應用場景的大資料平臺,同時特有的雲數融合方案,實現資料不同層、不同應用、不同租戶從資料採集-資料整合-資料治理-資料處理全資料生命週期的管理,讓客戶在雲數時代乘風破浪,永立潮頭。
【本文版權歸儲存線上所有,未經許可不得轉載。文章僅代表作者看法,如有不同觀點,歡迎新增儲存線上微信公眾號(微訊號:doitmedia)進行交流。】