GBase新聞
國產數據庫創新實踐:GBASE在某國有大行的應用實踐
某國有大行的大數據體系依托GBASE數據庫構建,回顧整個大數據體系的建設歷程:2013年8月該行大數據平臺正式立項;2015年主庫投產;2018年大數據平臺獲得人民銀行銀行科技發展一等獎;2019年大數據平臺建成,形成主庫+8大集市。2020年數據中臺建成,同期入選工信部《2020年大數據產業發展試點示范項目名單》;2022年,面向鄉村振興的智能數據服務云搭建成功,獲得人民銀行金融科技發展二等獎;當前,行方正著力圍繞大數據平臺構建“面向未來的新一代大數據能力體系”,夯實數據底座,建立運營體系,全面開放賦能。
在大數據平臺建設的技術路線選擇上,行方采用分析型數據庫與開源分布式數據處理相結合的技術架構。其中,分析型數據庫路線與GBASE戰略合作,選用南大通用分布式邏輯數據倉庫GBase 8a MPP Cluster,通過與Hadoop搭建融合架構,圍繞國產、開源,構建全棧式數據服務技術架構,從而實現數據應用的自主創新、安全可控。
GBase數據庫在行方得到了長期且深入的應用,相繼打造了一批重點標桿案例。
GBase 8a MPP Cluster作為行方重要的MPP基礎設施,主要應用于結構化模型數據存儲及加工領域,大數據平臺承載數據占比超過70%;系統包括大數據平臺主庫BDS/GDS、八大集市等,構建了銀行大數據基礎數據底座,為數據中臺服務層AI、BI平臺提供數據支撐。
數據存儲
大數據平臺主庫GBase承載數據量60PB、節點數3000+;Hadoop承載數據量23PB,節點數1500+
行內總行入庫數百個系統,實現主要業務系統全覆蓋
數據處理
PB級結構化數據
每日幾十萬個批量作業
每日全量批量大部分上班前完成處理
ms級延遲流數據實時分析
數據服務
累計開展數百項AI建模專題
為8大業務領域,應用場景提供服務
批量文件接口上萬個
日均訪問量上億
除大數據平臺主庫外,GBase應用規模最大的場景為分行數據集市,目前該系統擁有10個GBase集群,節點數達638個,可承載數據量10PB。2021-2023年,行方以數據中臺和分行數據集市為基礎,推進分行用數場景上云,并構建完備的分行數據服務云(DaaS),做到了三統一、一共享、一安全。
行方的監管報送數據服務云系統采用GBase云數倉關鍵技術,承擔了面向監管部門的十余項報送任務的批量加工工作。隨著明細報送數據量的不斷增加,監管報送人工干預環節同時存在高并發聯機操作和海量數據分析場景,混合事務和分析處理(HTAP)數據庫相關的預研,結合GBase云數倉聯合適配,實現存儲運算資源的有效隔離和彈性擴展,提升了聯機并發支撐能力。
GBase還廣泛應用于聯機查詢服務領域,在行方數據中臺BI報表中心、靈活查詢中心等系統中,GBase查詢庫承接加工后的數據,為上層應用及報表提供聯機數據查詢,可以做到千萬級數據查詢秒級響應。
未來,GBASE南大通用將與行方在信創轉型、安全增效、云原生、數據友好型等四大方向進一步深度合作,共同構建面向未來的MPP及大數據生態架構。