資料散落在不同的系統中,哪些資料是可信的
資料治理在“大資料”成為熱詞後,更加被業界關注。大資料帶來的一個顯著變化是,大量資料來自於資料中心之外,包括膝上型電腦、平板電腦、智慧手機以及感測器、社交網站等。資料量激增,資料型別也變得多樣。資料散落在不同的系統中,哪些資料是可信的?資料是否面臨更大的風險?如何從海量資料中獲得洞察?大資料時代,企業更加需要資料治理。
“資料治理是目前一個比較新興的、正在發展的學科,目前業界對它的定義還不完全一樣。”IBM全球企業諮詢服務部業務分析與優化團隊副合夥人謝國忠說,資料治理(Data Governance)是圍繞將資料作為企業資產而展開的一系列的具體化工作。資料是企業最大的價值來源,同時也是最大的風險來源,資料管理不佳通常意味著業務決策效果不佳以及更可能面臨違規和失竊。而利用規則的可信資料有助於組織的業務創新――提供更好的服務,提升客戶忠誠度,減少合規及報表要求所需工作,並提升創新能力。
國內企業資料治理成熟度不高
“在過去幾年中,資料治理的目標也在發生轉變。”曾經幫助金融、航空、海關、電信、電網等行業客戶做過資料治理專案的謝國忠表示,“除滿足監管和風險管理要求外,現在很多企業在說怎麼通過資料治理來創造業務價值。如資訊披露、行業領先以及精細化管理的需求。”
“目前國內大部分企業在資料治理方面還處於基本管理階段。”謝國忠評價說,“有些公司說做了很多資料質量檢查,做了資料歸檔、資料安全,但他們的問題是沒有一個完整的體系。其次,怎麼把這些領域串起來,他們沒有方法論。第三,他們在觀念上還達不到把資料當做核心資產來運作。”因此,謝國忠認為國內企業首先需要一套完整的資料治理體系。
他認為國內企業資料治理方面存在誤區:覺得資料治理是很短期的行為,認為資料治理只是IT部門的責任,只把資料治理當成軟體。實際上,資料治理不光是軟體,還要有相應的流程、方法。
談到資料治理的實踐,IBM自身就是資料治理的典型代表。1992年之前,IBM在資料治理方面存在很多問題,沒有明確的可依賴的資料來源,沒有明確的資料所有人,資料質量低下。1995年,IBM在ERP裡面做了業務資料標準,將所有的業務定了15大類業務標準、79個分類子業務標準,這樣全公司看到的是一個統一的業務定義。2004年,IBM成立了資料責任人論壇,2005年成立了資料治理委員會,之後又成立資料稽核委員會。1992年,IBM全球有128個CIO、155個數據中心、80個Web拓展中心、31個不同的網路、16000個應用。通過資料治理,IBM簡化了基礎架構,並降低了管理的複雜度。2007年,IBM全球只有一位CIO,主資料中心變成了6個,Web拓展中心變成全球統一的網路,16000多個應用變成4000個左右。
在此基礎上,IBM在2004年聯合業界多家公司和學術研究機構,成立了資料治理論壇,並在此次論壇上,制定包括四大領域11個要素的資料治理框架和方法,來指導資料治理工作的開展。框架包括產出領域:資料風險管理、價值創造;驅動領域:組織機構/流程、管理制度、資料責任人;核心領域:資料質量管理、資訊生命週期管理、安全/資訊披露/合規;支撐領域:資料模型/資料架構、元資料/主資料/資料標準、質量審計與報告。
銀行資料治理成功案例
在資料治理方面,由於政策方面的驅動力以及銀行自身業務發展的需求使銀行資料治理需求旺盛。中國銀行業資訊科技“十二五”規劃中包括資料治理與資料標準專題,其中指出“十二五”期間,資料治理需要重點推進的核心領域包括:資料標準、資料質量、資料安全、資料架構,以及為了做好這些工作所必需的保障機制,包括政策、組織、流程、技術等方面。
IBM GBS部門幫助國內外銀行做了多個數據治理的諮詢專案,包括中國資產規模最大的商業銀行。
“這家銀行與同行業相比在技術方面是最先進的,已經做了資料質量、元資料等,但沒有完整、統一的資料治理方法和配套的制度、流程;另一個問題是資料治理體系和架構還不完善。”謝國忠向記者介紹了這家銀行在資料治理方面面臨的挑戰。
根據IBM資料治理框架和方法,GBS從四大領域11個要素對該行資料治理的現況進行評估,幫助該銀行找到差距,並在此基礎上分析問題,提出解決問題的建議。這一專案從2008年開始,2010年及2011年該行又相繼啟動了一系列相關的資料治理專案,包括全行資料標準化專案、資料架構優化專案、全行資料質量管理專案等。目前,該銀行在資料治理方面在全國也走在前列。
再看某全球領先銀行的資料治理案例。美聯儲認為該銀行沒有對資訊的整合和質量進行足夠的控制以確保合規的要求。而通過一到兩年的資料治理,該銀行通過了美聯儲的審計。該銀行的高階副總裁Andrew Dunn認為,該銀行資料治理取得成功的關鍵因素是,選擇了一個有相關經驗、流程和工具的合作伙伴能夠加速資料治理在整個企業範圍內的有效部署。
主資料管理需求突出
資料治理涉及11個要素,主資料管理就是其中非常重要的一環。Informatica公司高階副總裁兼資訊長Tony Young就說:“加強主資料管理是企業獲得一個完整、可信的資料檢視的必經途徑。”
主資料是用來描述企業核心業務實體的資料,比如客戶、合作伙伴、員工、產品、物料單等。主資料管理旨在從企業的多個業務系統中整合最核心的需要共享的資料,集中進行資料清洗,並以服務的方式把統一、完整、準確的主資料分發給企業內的操作型應用和分析型應用,包括業務系統、業務流程和決策支援系統等。
Tony Young向記者表示:“MDM最核心的任務是匯出‘黃金資料’。所謂黃金資料就是企業的關鍵業務資料,也是絕對真實的資料。此外,MDM還要反映主資料之間的關聯性,比如客戶與產品之間的關係、客戶與客戶之間的關係等。在資料倉庫裡,你很難找到這種關聯性,而MDM能夠輕易做到這些。”MDM和資料倉庫之間也有區別,比如它們處理的資料型別不同,MDM是偏交易型的系統,而資料倉庫屬於分析型的系統。MDM和資料倉庫兩者可以互相促進,互為補充。Informatica MDM 的靈活資料模型可讓IT團隊在任何資料域中實施MDM,並可在同一資料模型中新增其他域及定義不同資料域之間的關係。Informatica MDM 可在企業內部或雲中實施,也可作為兩者的混合體加以實施。此外,它還可以作為多個MDM例項之間的全域性性樞紐,部署於聯合MDM體系架構內。
金融行業仍然是MDM需求最旺盛的行業,MDM資深專家、Information Difference公司總裁Andy Hayler表示:“一般來說,企業越大,遇到的資料管理方面問題就越多。大公司更容易採用相關的資料分析工具來解決其面臨的資料問題。”但這並不是說MDM只適用於金融行業,比如Informatica公司的MDM產品已經在24個行業中得到了應用,包括醫療、石油、公共事業等行業。
在不久的將來,多智時代一定會徹底走入我們的生活,有興趣入行未來前沿產業的朋友,可以收藏ofollow,noindex" target="_blank"> 多智時代 ,及時獲取人工智慧、大資料、雲端計算和物聯網的前沿資訊和基礎知識,讓我們一起攜手,引領人工智慧的未來!