“雲端計算和大資料”重點專項“科學大資料管理系統”專案中期檢查會
2018年9月14日,科技部高技術中心“雲端計算和大資料”重點專項管理辦公室(以下簡稱“專項辦”)組織專家對中國科學院計算機網路資訊中心牽頭的“科學大資料管理系統”專案進行了中期檢查。中科院計算機網路資訊中心領導、專項總體專家組專家、專案負責人和主要成員,以及專項辦管理人員等近60名代表參加了會議。
會上,專項辦有關同志介紹了中期檢查的工作依據、原則和目的、工作思路、檢查流程、資料要求和專家組成等情況。隨後,專案負責人從專案研究目標和創新點、專案課題間關係、中期目標和考核指標完成情況、重要進展和成果等方面報告了專案中期執行情況。專家組對專案研發的千億行星表超大規模關係型資料管理原型系統AstroServ、RDF圖資料查詢系統gStore、面向事例的資料管理系統EventDB等階段性成果進行了現場檢查,建議專案組進一步凝練專案成果,加強整體系統整合,加強課題之間協作。
經過兩年的實施,專案組結合典型應用場景,分析了天文學、生命科學、地球科學、高能物理等領域資料特點和典型負載,定義了三大類資料管理的測試基準,提出了雲化科學大資料系統的開放架構,初步實現科學大資料管理系統與叢集部署管理平臺、SQL統一查詢入口整合,整合三大資料管理引擎呼叫與展示、三大應用示範呼叫與展示、平臺資源管理與呼叫,有效打通了“資料集——資料儲存——ETL流——線上分析”的科學大資料使用流程。