東方物探+浪潮:用PB級軟體定義儲存,勘探世界能源
石油勘探普遍應用的地震波反射法,每次三維測量會產生幾百 TB 乃至 PB 級的資料。東方物探基於浪潮軟體定義儲存 AS13000 ,構建了 34 節點、 4PB 石油勘探海量儲存叢集,單節點業務頻寬超過 1GB (讀頻寬 1.2GB/s ,寫頻寬 1.5GB/s ),聚合頻寬達到 34GB /s , 實測效能提升了 7 倍, 滿足東方物探海量資料的 儲存、處理 需求。
中國石油集團東方地球物理勘探有限責任公司(以下簡稱“東方物探”)是中國石油天然氣集團公司的全資子公司,也是中國石油勘探的主力。公司主要從事國內外陸地、淺海地震勘探,以及綜合物化探採集、處理、解釋等業務,目前業務已經發展至全球59個國家、200餘家油氣公司,營業收入連續兩年保持全球物探行業第一。而作為新資料時代的儲存專家,浪潮通過軟體定義儲存(Software-Defined Storage,以下簡稱SDS)方案,給東方物探構建了4PB容量、34GB頻寬的石油勘探儲存叢集,提升了海量資料“存”和“用”能力。
石油勘探,資料是關鍵
石油勘探 PB 級資料是常態
當前石油儲備逐步減少,石油勘探、開發難度增大,藉助資料技術提高石油勘探的效率成為推動石油行業增長的關鍵。儲存作為資料的載體,成為東方物探這樣的石油勘探企業的核心競爭力。
東方物探的石油勘探作業主要採用地震波法。這種方法是用炸藥在地面激發人工地震波,地震波傳入數千米的地下,碰到不同形態的岩層後形成反射波。這些反射波經過檢波器收集,轉變為電子訊號後,以資料形態儲存在儲存裡。後期,通過對海量地震波資料的計算、解釋和反演,模擬出勘測區域的地下構造,找到石油岩層的精確位置。這就像給大地做CT一樣。
一方面,在勘探過程中,生成的資料體量非常龐大。一般二維資料可達1~2TB,三維資料可達數百TB甚至PB級。從東方物探開發的中國第一套地震資料處理、解釋一體化軟體GeoEast來看,GeoEast系統的資料量隨勘探業務開展不斷增長,對儲存空間初始需求就達到PB級別,專案平均資料增量達20TB,一般單檔案大小也都在200GB左右。
另一方面,石油勘探對收集上來的海量資料還需要提供TB-GB級讀寫效能,來滿足前端的密集計算和模擬,比如54TB原始勘探資料通過4000個CPU的計算叢集、GB級頻寬的儲存叢集處理需要50多天時間,方能將勘探資料轉換成直觀的可視畫面,為油氣鑽井定位提供決策支援。如果要縮短地震資料處理週期,讓IT基礎設施提供更強大的效能,就需要優化資料儲存和計算平臺。計算平臺可以在CPU處理的基礎上通過增加GPU來進行加速;而資料儲存平臺,則需要進行從硬體架構到軟體功能的創新。
浪潮 給 東方物探提供 PB 級 海量儲存叢集
浪潮SDS:軟硬協同創新
“(石油勘探)這種PB級容量、千萬級併發效能的資料特徵,對儲存基礎設施既是一個變革,也是一個挑戰”,浪潮儲存研發工程師表示,東方物探需要部署橫向擴充套件的軟體定義儲存,並基於場景進行軟硬體調優。經過多輪溝通,浪潮的這一方案獲得了東方物探的認可。
浪潮軟體定義儲存 AS13000
硬體方面,浪潮軟體定義儲存提供動車組式的橫向擴充套件架構,就是每個節點都能提供動力,同時整體叢集用一套系統進行管理。一方面,在浪潮軟體定義儲存的34個節點中,每個節點都可以提供上百TB的容量和GB級IO能力,儲存叢集間的資料通訊通過2個萬兆建立連線,使得整個儲存叢集容量達到4PB、業務網總頻寬達到34GB/s。
軟體方面,浪潮軟體定義儲存進行了大量場景化調優。比如,在使用過程中,浪潮軟體定義儲存通過對去躁、振幅補償等多項作業的優化配置,提升了石油勘探批量作業的處理能力,增強了易用性,確保系統穩定執行。又如,浪潮軟體定義儲存提供目錄分片功能,即在元資料服務端將目錄分成同等地位的多個分片,由每個分片承載該目錄下的不同子檔案,有效提高了併發能力,解決了大目錄操作效能問題。AS13000可支援單目錄千萬級檔案、檔案系統可達百億級,百萬檔案瀏覽時間突破40s。
容量達 4PB , 效能提升 7 倍
專案實施前,東方物探和浪潮儲存聯合,對軟體定義儲存進行了長達一年的產品測試,浪潮團隊積極配合、快速響應,保障了東方物探石油勘探軟體定義儲存平臺測試的順利進行。
上線後,東方物探勘探海量儲存叢集使用容量達到4PB,單作業業務單控達1.5GB/s,聚合頻寬達到34GB/s。通過對AS13000核心客戶端的優化,在4PB大工程上實現了7倍效能的提升。
值得一提的是,浪潮軟體定義儲存系統的節點擴充套件能力非常強大,單系統儲存節點可線上橫向擴充套件至5000多個。面對地震資料效能不斷增長的趨勢,浪潮軟體定義儲存還可支援40GB/56GB InfiniBand連線,以應對未來效能升級需求。加上不斷進步的資料自動修復和自動運維機制,浪潮軟體定義儲存能夠勝任東方物探的未來的石油勘探海量資料儲存場景。
東方物探表示,“中國物探企業必須擁有自己的資料核心技術。東方物探聯合浪潮儲存建立了亞洲最大的物探資料庫,通過對地震波反射資料的採集、處理、解釋,判斷地表下油氣的位置,挖掘資料價值。”
場景化戰略 落地 PB 級大工程
除了東方物探的PB級實踐之外,浪潮還在各個場景交付了大量PB級工程。這裡包括軟體定義儲存AS13000在某資源中心一套70PB、某運營商數十套每套PB級系統、某省政務雲90個節點、20PB容量、成都三環路視訊監控系統20PB容量、廣電總局141個節點、10PB的雲平臺、華強方特5PB、千萬級小檔案併發效能的動漫製作平臺的應用部署。
浪潮儲存產品線總經理李輝表示,“浪潮儲存順應雲、大資料、人工智慧潮流,經過十多年的研發,在全球建立了五大研發中心,具備領先的技術實力和場景化能力,構建了新資料時代的新儲存,成為新資料時代新儲存的倡導者和領先者。”如今,浪潮憑藉實力,在2018年上半年在中國企業級儲存市場出貨量第一、增速第一;同時,入圍了Gartner分散式儲存魔力象限,正式進入全球主流儲存廠商。
【本文版權歸儲存線上所有,未經許可不得轉載。文章僅代表作者看法,如有不同觀點,歡迎新增儲存線上微信公眾號(微訊號:doitmedia)進行交流。】