基於微服務技術的政務資料共享交換 “五可”實踐
從《政務資訊系統整合共享實施方案》到黨的十九大精神,國家對推動政府資料“聚通用”水平再上新臺階以及深化“放管服”改革轉變政府職能提出了更高要求。但全國大部分地區在深化大資料“聚通用”時,依然存在較多問題。比如“聚”的方面,“金”字工程資料集聚難、資料孤島依然存在;“通”的方面,一些涉及利益調整“不願通”,一些由國家部委垂直建設的系統“不能通”;“用”的方面,部門單位缺乏應用意識“不想用資料”,一些實用技能不夠“不會用資料”,一些擔心資料揭示現實問題“不願用資料”,沒有制度支援資料共享與開放“不敢用資料”,用傳統思想和方法管資料“不善用資料”。
目前,微服務作為一個新興的軟體架構,通過把一個大型的單個應用程式和服務轉化拆分為數十個的微服務。針對微服務的技術特點,我們可以對每一個數據項建立標準介面,對資料介面進行二次封裝,規範化、標準化、統一化的釋出、訪問管理,以及推送使用者資料以及訊息佇列等服務。同時,建立微服務匯流排接管標準介面,按介面細粒度對資料資源進行管理,形成服務目錄、資料目錄和安全目錄。通過服務目錄、資料目錄及安全目錄的協同使用,有效避免了服務交換過程中不可監督、不可視、不可追溯、不可控導致的資料濫用、冒用和複用。
配合機制創新、制度創新、技術創新,遵循“責權清晰、統建共用、全程管控、標準一致”的原則,建立“誰擁有,誰負責”、“誰使用,誰負責”、“誰流轉、誰負責”的機制。明晰資料在共享交換過程中資料的歸屬權、使用權、管理權,通過微服務匯流排技術模式,實現資料共享交換服務。最終在“三融五跨”的基礎上,實現政務資料共享交換的“可有”“可用”“可視”“可控”“可溯”,實現“聚、通、用”的新跨越。構建以“三融五跨”為特徵的政府資料“聚通用”發展新格局。
圖:微服務匯流排+資料區實現邏輯
【可 有】 分步建立“分散式資料區”,解決物理分散、資料不搬家問題。
藉助資料資產“一張圖”,建立資料資產登記情況、目錄釋出情況、資料上架等政務資訊資源目錄體系,並對資料進行分級分類。通過資料盤點、登記,建立清晰的資料歸屬權、共享管理權、使用權,確保資料共享交換全流程的可監控、可追溯。
對於實現資訊系統和資料資源的原始資料,通過資料排程平臺進行資料接入,故需建立專門的資料區進行資料儲存。採用建立資料區對資料介面進行標準化二次封裝,替代建立資料前置區方案。分散式系統主要包含分散式儲存、分散式檔案系統、分散式資料庫系統、資料接入功能和異構資料庫接入等功能。實現 “資料不搬家、資料不重寫、不打破原有資料管理模式”,解決資料共享交換問題。
針對存量業務系統原始資料,可採用BaaS服務(後端即服務,是一種新型的垂直領域微服務),進行資料介面的二次封裝,並對資料介面提供規範化、標準化、統一化的資料快取、訊息推送、訊息佇列、資料目錄、介面釋出等服務。
【可 用】 基於“微服務匯流排”架構,建立標準化共享交換管道。
微服務匯流排核心功能是按介面細粒度對資料資源進行管理。在提供基於介面匯流排的指揮排程功能的同時,還提供安全服務,充分滿足資料排程管理的要求。同時,微服務匯流排將許可權控制這些較為繁重的非業務邏輯內容,遷移到服務路由層面,使得服務叢集主體能夠具備更高的可複用性和可測試性。微服務匯流排業務流程大致分為:服務管理、許可權控制、服務交換。
服務管理的主要功能是將服務管理系統化,可以直接在資料排程方中,方便的維護介面,而且需要有版本管理和許可權管理。服務實際上架完成後,可以根據服務管功能,直接進行服務的實際呼叫測試。
許可權控制的主要功能是實現APIKey,通過以金鑰為引數,配合適當的簽名演算法,可以得到原始資訊的數字簽名,防止內容在傳遞過程中被偽造或篡改。
服務交換的主要功能是透明化服務路由,服務呼叫者只可以知道當前服務提供者提供了哪些方法,並不知道服務具體在什麼位置。以此實現服務的透明化指揮排程,實現對服務的全面掌控。
【可 控】 基於“ 微服務匯流排”架構的服務控制。
微服務匯流排提供服務控制功能,如服務流量控制、優先順序控制,限制了使用者對微服務匯流排資源的訪問,確保使用者只能訪問它應該訪問到的資源。
提供多級(例項、服務、授權)的服務流量,用於防止在埠阻塞的情況下丟幀,這種方法是當傳送或接收緩衝區開始溢位時,通過將阻塞訊號傳送回源地址實現的。服務流量控制可以有效的防止由於服務中瞬間增大的資料量對網路帶來的衝擊,保證使用者服務和網路高效而穩定的執行。流量控制可以用於管控服務的被訪問頻率、APP的請求頻率、使用者的請求頻率,控制的時間單位可以是分鐘、小時、天。當流量超過閾值,新來的請求會被微服務匯流排攔截,確保後端服務可以正常執行。因此流量控制可以用於管控 API的被訪問頻率、APP的請求頻率、使用者的請求頻率,是微服務匯流排重要的控制手段之一。
通過配置決定服務優先通行權的控制方式。例如,要按照服務的性質或是按照服務的來源等,指定其優先順序,然後微服務匯流排根據各服務優先順序的高低,來決定處理各服務的先後次序,甚至在處理過程中,還能允許優先順序較高的程式中斷優先順序較低的程式。
【可 視】 基於“ 微服務匯流排”架構管控操作日誌視覺化。
微服務匯流排可將管控操作日誌推送至視覺化平臺。管控操作日誌內容包括:操作日誌、故障定位和資源監控。微服務匯流排提供的作業系統日誌,包括統計資訊,如數量錯誤、最小和最大響應時間以及處理的訊息數量。故障定位包括管控、服務消費與管理審計日誌,詳盡的服務呼叫狀況統計、網路鏈路分析,以及系統巡檢和報警。資源監控,提供日誌監控以及實時報警功能,同時支援提供例項管理、使用者管理、靈活的系統角色許可權定製能力。
【可 溯】 基於“ 微服務匯流排”架構的資料全流程的追溯。
微服務匯流排是基於微服務架構所呈現的形態,微服務匯流排的建立,可以滿足資料排程過程的可控、可溯,對經由微服務匯流排的所有資料介面、資料流進行全程監控,並能夠對整體流程進行審計。同時,微服務元件化管理中的服務目錄還需要形成服務庫表,以供資料排程進行使用。
微服務匯流排接收資料排程指令,根據資料來源,將資料區封裝釋出的標準API/SDK介面回撥到資料排程平臺,完成整個排程流程。微服務匯流排可以說是資料呼叫介面的詳細資訊集,用於儲存資料呼叫的具體引數、呼叫方式、介面等資訊。以此達到全流程化的精細化管理助推政務資訊資料資源“一數一源”。
關於國路安科技
- About GLA -
國路安科技公司成立於 2009 年,是一家專注於大資料領域,為政府、行業、企業提供資料整合共享平臺、配套產品研發、一體化解決方案的高新技術企業。總部設於西藏,在北京、上海、貴州等11個地區設有分支機構,目前已形成“兩個中心,七大區域平臺,多行業縱深發展”的全國性戰略佈局。
國路安作為工信部“全國信標委大資料工作組”工作組成員之一,創新性的提出以“微服務架構+分散式資料區”為核心技術的資料整合共享解決方案,並將該方案以及相關產品、技術先後在某人力資源社會保障廳基礎支撐平臺建設、某省資料交換平臺、某部委資料資產梳理等專案中獲得成功應用。