騰訊金融雲胡利明:分散式資料庫是金融業務發展的必然趨勢
資料庫是金融資訊化最重要的應用系統之一,其可用性和擴充套件性一直是金融行業最為關注的問題。
如今,隨著金融數字化轉型的深入,金融機構系統規模及複雜程度呈指數級增長,傳統模式下靠採購高階裝置以及增加硬體來保證資料庫可用性和擴充套件性的方案正面臨越來越大的壓力。另一個維度下,資料庫的自主可控對於金融行業的資料安全、業務穩定具有重要意義,只有實現“自主可控”才能從根本上保證資訊保安。
網際網路行業在自身業務場景的長期探索與實踐過程中,逐漸發展出分散式資料庫的技術實現,並被廣泛地被應用在各種 高併發、大資料量、要求強一致性且需要強大橫向擴充套件能力的業務場景中 ,這也為大流量、多模式、強安全的金融新業態應用探索出技術保障路線,積累了寶貴的應用實踐經驗。
日前,記者專訪了騰訊金融雲總經理胡利明,就自主可控的金融資料庫技術發展及其對支撐金融行業數字化轉型的意義進行了深入交流和探討。
胡利明認為, 金融業務場景網際網路化、高併發、小額高頻交易場景越來越多,傳統資料庫無法適應業務發展需求,自主可控分散式資料庫可以很好的滿足這類場景。 “金融行業發展並應用自主可控的分散式資料庫技術,既是新階段金融業務發展的必然趨勢,也是強化金融數字化技術自主可控的必然選擇。”
Q在您的理解中,新形勢下金融行業對資料庫技術的訴求是什麼?
胡利明:近年來,隨著中國經濟快速發展以及普惠金融政策的推廣,金融行業在業務形態、客戶群體、銷售渠道上都發生了很大的變化。 對公業務下滑而零售業務高速發展,物理網點萎縮對應的移動化渠道在不斷髮展,客戶群體也在從高階群體向長尾客群變遷。多維、高頻、線上場景成為金融業務的主流模式。
資料庫是承載金融業務執行的底層基礎設施。過去金融行業普遍採用高階的裝置,比如使用小型機和大型儲存來保證資料庫的可用性或者通過增加CPU、記憶體、磁碟等方式提高處理能力。
但在新形勢下,這種方式正受到越來越大的挑戰。譬如說,急劇增長的資料量與傳統資料庫有限容量之間的矛盾;海量使用者帶來的高併發系統壓力與傳統資料庫效能無法水平擴充套件的矛盾;實時交易響應與快速資料分析統一管理需求與傳統資料庫無法兼顧OLTP&OLAP的矛盾;以及越來越高標準業務連續性要求與昂貴的傳統資料庫容災技術的矛盾。當然,還有國產自主可控要求與傳統資料庫方案基本為國外產品的矛盾。
因此,金融行業發展並應用自主可控的分散式資料庫技術,既是新階段金融業務發展的必然趨勢,也是強化金融數字化技術自主可控的必然選擇。
Q 您剛才提到的分散式資料庫技術,能否請您詳細做一下介紹?
胡利明:分散式資料庫系統是資料庫技術和網路技術相互滲透、有機結合的成果,在資料庫領域已形成一個分支。經過多年發展,其體系架構已經逐漸成熟。
分散式資料庫系統必須滿足兩個特徵。一是分佈性:資料儲存在多個獨立的資料庫伺服器中,目前硬體一般採用低成本的X86架構伺服器。二是邏輯整體性:分散式資料庫系統中的資料是相互關聯的,邏輯上是一個統一的整體,對上層應用來說,可視為一個集中式的資料庫系統。
分散式資料庫技術發展至今,技術種類可以用shared-Nothing和shared-Disk兩種型別概括。其中,Shared-Nothing方案發展最久,也最為成熟。它具備成本低,資料庫效能和容量擴充套件方便,理論上全域性故障概率極低等優勢。微信支付就是用的這種方案。
Shared-Disk方案則是基於分散式雲端儲存和雲伺服器虛擬化衍生出來的一種方案,雖然出現時間不長,但其SQL能力好,幾乎100%相容MySQL、PostgreSQL等資料庫,相對成本低,也可複用雲上的IaaS資源。當然,Shared-Disk方案的劣勢在於其軟體架構仍然採用傳統集中式方案,導致其寫效能擴充套件性的不足。
Q 騰訊在分散式資料庫技術應用上有哪些探索?
胡利明:多年以來,騰訊一直致力於實現資料庫的自主可控。為了滿足基於微信支付/紅包等金融業務場景需要,騰訊歷經10餘年的自主研發打造了騰訊分散式資料庫產品TDSQL(TencentDistributed SQL),這是一款相容MySQL的HTAP分散式資料庫產品,具備強一致高可用、全球部署架構、分散式水平擴充套件、高效能、企業級安全等特性,能夠同時提供智慧DBA、自動化運營、監控告警等配套設施。
騰訊雲TDSQL採用分散式叢集架構,這種叢集架構具有較高的靈活性,也大大簡化了各個節點之間的通訊機制及其對於硬體的需求。這不僅意味著TDSQL的關係型例項、分散式例項、分析性例項可以混合部署在同一叢集中,也意味著即使是基於簡單的x86伺服器,也可以搭建出類似於小型機、共享儲存等一樣穩定可靠的資料庫。基於這種靈活的架構,我們可以輕鬆實現兩地三中心、兩地四中心、多地多中心等高可用方案。
目前,騰訊公司的計費業務系統使用TDSQL託管賬戶近280億,日流水量超過150億條,每天處理的交易量超過100億筆。
在資料中心聯盟(DCA)第七批大資料產品評測結果評審會上,騰訊雲TDSQL在分散式資料庫的50項產品能力評測中,以47項通過的優異成績通過評測。IT垂直門戶媒體IT168主辦的2018年度的技術卓越獎評選中,TDSQL也榮獲技術卓越獎。這代表著騰訊雲TDSQL在產品和技術實力層面得到了各界認可。
Q 能否舉例介紹一下TDSQL目前的應用案例?
胡利明:微眾銀行是騰訊雲TDSQL對外輸出的第一個客戶。作為國內首家網際網路銀行,微眾銀行的IT基礎架構拋棄了傳統的IOE,完全採用了網際網路分散式架構。從2014年開始,騰訊雲開始為微眾銀行提供核心交易資料庫解決方案。騰訊雲TDSQL在微眾銀行作為交易核心資料庫,部署超過800個節點,承載全行所有OLTP業務。
由於完全採用網際網路架構,相比傳統的IOE方案,微眾銀行在IT成本上大幅節約。同時,網際網路架構的高伸縮性,使得微眾銀行的服務能力具備很高的彈性,足以輕鬆應對普惠金融場景下的潮湧。目前,微眾銀行每個賬戶的運營成本平均只有6元人民幣,僅為內地傳統銀行的1/10,相比國際銀行則更低,只有其成本的2%至5%。
除了微眾銀行,騰訊雲TDSQL還支撐著華通銀行、華夏銀行、濰坊銀行、內蒙金谷農商銀行、北京人壽、愛心人壽等眾多銀行和保險公司的網際網路核心生產系統,已經為超過500+的政企和金融機構提供資料庫的公有云及私有云服務,客戶覆蓋銀行、保險、證券、網際網路金融、計費、第三方支付、物聯網、政務等領域,得到了客戶及行業的一致認可。
未來,騰訊雲TDSQL 將持續通過產研結合、產用結合的方式進行研發突破,並開放商用更多特性,助力金融機構加速數字化轉型步伐。