資料價值提升新模式:資料資產管理“AIGOV五星模型”
引言
現在已經全面進入物聯網時代,資料以史無前例的規模大批量一刻不停地生成,與大資料相關的研究和應用層出不窮,資料已經成為各國政府和企業最重要的資產,我國也於2015年8月釋出了《促進大資料發展行動綱要》。國家在綱要中明確指出資料是核心資產,大資料是推動經濟發展的新動力,是提升企業核心價值的驅動力。
資料如此重要,資料產生量如此之大,然而整個資料管理領域的理論發展是非常落後的。企業都知道資料很有價值,資料能夠為企業帶來指引,然而真正讓資料為企業帶來價值的案例並不多見,這主要是由於既有的資料管理模型落後並且複雜。
資料管理的概念從80年代提出到現在已經接近40年了,資料治理的提法也有近20年,而資料資產管理的提出基本是最近5年的事情,中國資料資產管理峰會對資料資產管理定義為是對資料管理、資料治理及資料資產化的管理過程。
資料資產管理研究現狀
1
國外研究現狀
20世紀80年代後期,資料倉庫概念開始形成,這也是資料管理理論的萌芽。隨著資料倉庫應用落地和展開,在2000年左右資料治理的相關理念也逐步形成。2000年前後,H.Watson探討了“資料倉庫治理”在Blue Cross和Blue Shield of North Carolina兩家公司的最佳實踐,被國內學者認為拉開了“資料治理”在企業管理中的大幕。
早在2004年,國際資料治理協會DGI就首次釋出了DGI資料治理框架,從這個框架模型初步提出了RPP(人員/流程/規則)框架。但是,這個框架中沒有對資料治理的具體工作內容給予細化或明確說明。
2006年,國際資料管理協會(DAMA)釋出了資料管理框架,並參考了PMBOK的架構編寫了資料管理指南(DMBOK)。經過多次迭代,2008年3月,國際資料管理協會發布的最新版DMBOK中,將資料管理工作細分為十個職能:
-
資料治理
-
資料架構管理
-
資料開發
-
資料操作管理
-
資料安全管理
-
參考資料與主資料管理
-
資料倉庫與商務智慧管理
-
文件與內容管理
-
元資料管理
-
資料質量管理
以及目標和原則、活動、主要交付物、角色和責任、技術、實踐和方法、組織和文化七大環境要素。
2010年,IBM釋出了《資料治理統一流程》一書,描述了企業資料能力成熟度評價模型。IBM提出資料治理的要素模型,認為資料風險與合規、價值創造等業務目標或成果是資料治理的核心關鍵命題,並且影響這些目標的達成需要組織結構和認知度、政策、資料相關責任者三個促成要素。在三個促成因素以外,必須關注資料治理三個核心要素,分別是資料質量管理、資訊生命週期管理、資訊保安和隱私。要素模型中還有資料治理三個支撐要素,資料架構、分類與元資料、審計日誌和報告。
2014年,EDM釋出了資料管理能力成熟度模型( Data management Capability Assessment Model )。在該模型中,EDM將資料管理劃分為八大職能域:
-
資料管理策略
-
資料管理業務案例
-
資料管理專案
-
資料治理
-
資料架構
-
技術架構
-
資料質量
-
資料運營
2014年,CMMI協會發布了資料管理成熟度模型,將資料管理工作分為六個維度:
-
資料管理戰略
-
資料治理
-
資料質量
-
平臺及架構
-
資料操作
-
支援流程
以及五個成熟度評估等級:可執行級、可管理級、已定義級、可量度級以及優化管理級。
2
國內研究現狀
在國內,資料治理和資產管理研究和標準化工作相對較為滯後。2018年5月份,銀保監會正式釋出了金融機構資料治理指引。從相關主題的數量,可以看出金融機構資料治理指引主要關注的是制度、人員、流程、監管等相關方面建設。同時,資料管理能力成熟度模型的國家標準也同期釋出。
近幾年,隨著資料價值的進一步挖掘,企業對資料資產化需求不斷增長,資料資產管理理念形成。2014年新炬網路在行業中明確提出了資料資產管理概念及其三大核心框架:資料架構、資料治理和資料運營,並於次年首次對外發布了資料資產管理五星模型,進而將資料資產管理定義為是對資料管理、資料治理及資料資產化的管理過程,此後在與國內外同行的交流和企業實踐中,持續不斷的迭代演進和完善,並於2018年7月的中國資料資產管理峰會上,正式釋出資料資產管理“AIGOV五星模型”。
2018年3月15日,中國國家標準化委員會和中華人民共和國國家質量監督檢驗檢疫總局聯合釋出了《資料管理能力成熟度評價模型》,該模型包括資料戰略、資料治理、資料架構、資料應用、資料安全、資料質量、資料標準和資料生命週期等8個關鍵過程功能域,29個能力項。該模型制定了相關的功能域劃分、評價標準和關鍵指標定義,以幫助組織更好地理解和評價資料管理現狀。
3
國內外既有模型的對比
簡單總結一下國內外資料管理/資料治理/資料資產管理方面的模型,就會發現,這些模型要麼是太過於簡單(比如2003年釋出的DGI模型)不知道具體怎麼落地,要麼是太過於複雜(比如2006年的DAMA模型、DMM模型等)實施起來過於艱難。
相比於其他國內外的標準/模型或框架而言,資料資產管理“AIGOV五星模型”更關注資料資產管理的全域性視角和整體過程,企業管理者或從業者可以更清楚瞭解整個資料資產化價值實現的過程。
新炬網路自提出資料資產管理五星模型之後,在與國內外同行分享交流,特別是結合在金融、電信、電力、製造、政府等領域的企業級實踐過程中,歷經多年持續迭代完善,目前的資料資產管理“AIGOV五星模型”正式版覆蓋五大管理域、十三個能力項。
資料資產管理AIGOV五星模型詳述
1
資料資產管理AIGOV五星模型的含義
資料資產管理“AIGOV五星模型”將資料資產管理相關工作劃分成五個管理域和十三個能力項。
第一個管理域是資料架構策略,針對管理體系,主要是人員的組織結構,以及相關策略制度。資料架構策略管理域只包含一個能力項:組織架構/策略制度。
第二個管理域是資料整合共享,針對資料資產管理的技術平臺。資料整合共享管理域,包括三個能力項:分別是資料採集、資料整合和資料共享中心。
第三個管理域是資料治理,這部分就是資料治理的傳統範疇,包括資料模型管理、元資料管理、資料標準管理以及資料質量管理四個能力項。
第四個管理域是資料運營管理,核心是如何提升資料安全和運營效率;包括資料生命週期管理、資料安全管理和主資料管理三個能力項。
第五個管理域是資料增值應用,通過資料分析挖掘和開放服務,真正將資料服務於企業和企業的戰略聯盟間,提升資料價值、實現業務互動。包括資料分析挖掘、資料開放服務兩個能力項。
2
資料資產管理五星模型能力項內容詳解
資料架構策略域,包含一個能力項組織架構/策略制度。
做好資料資產管理工作,關鍵要做好的是資料資產管理相關組織、制度、流程和規範等相關的建設工作。而其中最為重要的是資料資產管理組織的建立,建立一支真正為企業資料負責的管理和執行團隊,並在企業決策、管理、執行和應用各層面全面實現資料資產管理工作。如果沒有組織,如果沒有人,規章制度靠誰去執行、去監督,如此下去企業中所有的資料資產管理規章制度只會是一紙空文,無法落地。
資料整合共享管理域,包括三個能力項:分別是資料採集、資料整合和資料共享中心。
圍繞資料實現企業中各式資料的採集、整合以及共享,打破企業中形成的資料孤島,將資料進行有效的整合和整合,讓資料實現更多的關聯和碰撞,產生更多業務、產品、服務以及管理等多方面的創新。資料採集整合整合中,應該強調基於元資料驅動資料整合。通過元資料管理,可以讓資料整合過程更公開與透明,更容易發現數據整合過程中出現的問題,更為便捷地得到資料整合過程的深遠影響。基於元資料驅動下的資料整合,可以使資料採集、處理、匯聚等過程更加規範和利於管理。
資料採集、整合和處理計算之後,形成各種各樣的資料產品。這些資料產品通過資料共享中心打破企業歷史沉澱的資料孤島,通過資料採集、整合進行有效整合,構建企業級資料共享中心,滿足企業內部資料互動、訪問、共享的業務需求,使資料能夠更好的反哺企業業務的發展。
資料治理域從提供一個透明可讀以及高質量的資料環境著手。
資料治理往往始於資料模型管理,根據企業的特點和現狀從正向建模和逆向兩個方面入手。正向建模,從零開始對系統或者資料中心進行模型從新構建。但是對於絕大多數傳統企業,企業存在大量存量系統或者在用系統,同時這些系統中資料模型可能並不清晰,形成事實上的資料黑盒子,企業人員很難理解和運用這些資料。所以,還需要進行逆向資料模型梳理,把資料模型整理清晰,梳理清楚企業資料的基本全貌。資料模型梳理完成以後,實現整個基於版本化的資料模型管控過程。通過資料模型管理體系構建,整個企業的IT系統以及大資料中心所有資料模型的納入統一的管理當中。資料模型管理,最終將以資料地圖、資料資產目錄等方式向企業資料應用、管理和維護人員進行開放和共享,讓資料相同干係人都可以從中獲取必要的資料資訊。
資料模型梳理完成,它將是元資料管理最重要輸入內容。元資料管理通過各式的關於資料的資訊採集、歸併整合和應用等手段,向企業中提供全域性企業多角度元資料檢視。視覺化的元資料管理工具,為企業資料應用和開發人員提供圖形化全域性元資料檢索和查詢,資料處理過程上下文的資料血緣關係分析,以及預覽資料處理和變更對全域性的影響度分析。藉助元資料管理工具,實現強大元資料監控、稽核和版本管理的能力,便於資料應用和管理人員分析元資料與實際資料中心或者資料倉庫之間的差異,防止元資料與實際系統之間出現“兩張皮”的現象,維護元資料的權威性和準確性。
元資料和資料模型在企業內部資料建設還需要實現標準化過程,資料標準化維度往往包括多個方面,包括資料定義命名的標準化、資料設計的標準化、資料內容和格式的標準以及資料交換的標準等,通過這些資料標準化的工作打通企業內部資料的設計和認知的統一,便利於企業人員理解和認識資料,有利於資料的共享和整合。
完善的元資料管理以及資料標準體系,可以更加方便企業人員進行資料質量管理。資料質量管理藉助工具手段將質量管理PDCA迴圈管理方法論真正落地。在這個過程中,利用資料質量管理工具對資料質量進行有效監控和分析。
資料運營管理域,核心是如何提升資料安全和運營效率。
資料資產管理團隊通過制定合理、完整的資料生命週期管理方案,針對不同型別的業務資料進行貫穿其整個生命週期的管理。面對業務部門和IT部門對資料使用的要求進行調研和分析,結合企業中各類資料特點和趨勢,制定不同資料在不同階段資料生命週期策略,企業上下確認並達成一致後,形成企業中資料生命週期管理規範併發布。
資料資產管理團隊根據國家、行業和企業對資料安全管控需求,對現有資料進行敏感分級分類,形成敏感資料目錄。以此為基礎,還需要針對不同資料制定和完善如安全審計、測試資料管理、資料脫敏、資料提取管理等應用場景。
資料資產管理團隊還負責管理描述企業關鍵業務實體的核心主資料,通過主資料採集、質量管理、稽核、釋出等方式統一管理企業的黃金資料。
資料增值應用管理域,通過資料分析挖掘和開放服務,真正將資料服務於企業和企業的戰略聯盟間,提升資料價值、實現業務互動。包括資料分析挖掘、資料開放服務兩個能力項。
企業資料分析人員,藉助資料視覺化、資料統計、挖掘演算法和機器學習對整合到大資料共享中心的資料進行分析驗證,提取和發現有用的資訊並形成結論。
同時,企業將原始資料、經過有效加工的資料或者整合後的資料報告,通過資料資產化的評估、脫敏和定價,與外部合作伙伴實現資料交換、交易和流通,為企業獲得戰略或財務收益。
資料資產管理五星模型的價值和意義
進入大資料的時代,資料被業界公認為是企業的最寶貴資產之一,資料的價值得到廣泛認同。企業依賴資料資產管理為其提供可靠、有價值和高質量的資料,提供更好的產品和服務,降低開發和運維成本,控制風險,以及為企業提供更明智和更有效的決策資料支援。
因此,企業亟需對資料資產進行有效的管理,提升資料的價值。
首先,資料資產管理AIGOV五星模型為企業的資料資產管理提供了管理框架,通過這個有效的管理框架,企業可以參照自身的資料現狀和不足,制定適合自身特點和戰略的資料資產管理規劃,並且有的放矢地按步驟有計劃地開展其資料資產管理活動,分階段實現其整體資料資產管理藍圖。
其次,資料資產管理AIGOV五星模型為企業提供了資料資產管理實踐級的方法論,通過這些在各大型企事業單位中經受過實戰演練的方法、規範和制度流程。它指導企業更有效地開展各種資料資產管理活動,有助於解決企業在實施資料資產管理可能遇到各種問題和規避常見的陷阱。
最後,資料資產管理AIGOV五星模型提出的資料資產管理平臺體系,為企業實施資料資產管理提供了平臺化的支撐。通過各種視覺化的資料資產管理平臺,更有效的沉澱企業資料資產知識圖譜,實現企業資料知識的共享和傳播,同時高效地管理資料和提升資料質量,推動企業內外的資料共享和應用,提升企業資料價值,實現資料的資產化。
資料資產管理AIGOV五星模型為構建企業的資料資產管理環境,實現資料資產保值和增值,提高資料質量都具有非常重要的意義。
資料資產管理五星模型的企業實踐案例
AIGOV五星模型在不同行業的大型企業中進行了企業級的實踐活動。
某大型製造企業在企業資料應用於企業運營的過程中,出現了許多關於資料的形形色色的問題,諸如:
-
資料資源分散:資料形成事實上孤島,資料資源及管理、開發應用相對分散,資料採集、整合、分析以及資料應用沒形成閉環;
-
資料黑盒化:企業人員對應用系統中資料理解和認知不足,資料字典與實際脫節;
-
資訊難公開:沒有平臺支撐,梳理出來的有效資料資訊也無法在企業中釋出和共享;
-
安全管控不足:缺少基本資料安全管控手段,沒有必要的資料安全目錄;
-
資料質量不高:歷史存量資料質量不高,存在大量重碼、無效資料,資料質量管理任重道遠;
-
資料容量問題:資料容量有效收集與分析不足,資料化決策支援不夠;
-
……
這些資料的問題極大限制了該企業進一步運用企業資料資產,阻礙其利用資料做出精確的分析和預測,為企業戰略決策服務的目標。
該企業在與我們一起共同努力,著手資料資產管理專案實施,實現了資料資產管理五星模型的快速落地。
首先,建立技術和業務共同參與的企業資料資產管理團隊,並在專案初期以企業現狀和未來戰略為基礎,制定了三階段的資料資產管理規則,從基礎著手逐步構建適合該企業現狀和特點的資料資產管理體系。
其次,著手梳理企業資料資產,重新整理企業資料字典、資料模型以及相關元資料,打破資料黑盒,讓企業重新掌握資料資產。
最後,建立資料資產管理平臺,通過視覺化的平臺,實現了資料模型、元資料、資料生命週期和資料安全的統一管理,有效解決了之前困擾客戶的資料資源分散、資訊不公開、資料質量不高、資料黑盒化、安全管控不足和資料容量問題等。通過個性化的資料門戶,面向企業內部的不同使用者和開發人員,賦予不同許可權的快捷查詢和實時檢索能力。
資料資產管理平臺,輕鬆將企業級的資料標準、資料模型、元資料和資料質量實現整合和打通,以資料資產目錄、資料地圖等方式實現資產視覺化和智慧化,做到了:
-
集中式的元資料管理:實現資料來龍去脈和相互關係的視覺化;
-
企業級多維度元資料檢視,提供視覺化的展現、檢索和查詢,上下文的資料血緣關係分析,以及預覽資料處理和變更對全域性的影響度分析;
-
元資料監控、稽核和版本管理能力,實現資料標準、元資料設計稿與實際業務系統之間的差異,防止元資料與實際系統之間出現“兩張皮”的現象,維護元資料的權威性和準確性;
-
資料安全管理:識別企業敏感資料分類,洞悉資料安全關鍵資料的分佈;
-
資料生命週期管理:實時容量監控和趨勢分析,提升系統性能,降低運維成本;
-
個性化資料門戶:面向不同使用者,提供個性化門戶、便捷查詢和實時檢索。
總結
資料資產管理AIGOV五星模型,作為一個全新的資料管理方法論,必定會為大資料業界帶來一種全新的思維模式,也會給大資料產業帶來一種全新的助推能力。該模型隨著中國資料資產管理峰會的傳播,將吸引國內外政府機構和企事業單位的資料人才進行學習和推廣,一方面能為行業儲備人才,另一方面可以促進大資料行業發展。在該模型不斷實施和推廣過程中,還會不斷髮現和培育行業標杆,行業標杆進一步推動AIGOV五星模型更加完善,使行業和人才共同受益。
參考文獻:
[1] CMMI Institute. CMMI institute data management maturity model v1.0[R].[S.l.:s.n.], 2014.
[2] EDM Council. EDMC DCAM version 1.0[R].[S.l.:s.n.], 2015.
[3] AIKEN P , ALLEN M D , PARKER B ,et al. Measuring data management practice maturity:a community's selfassessment [J]. Computer, 2007, 40(4): 42-50.
[4] LI B, BIN J Z. Data management capability maturity model[J]. Big Data Research, 2017, 3(4): 29-36.