1、項目背景

在吉林銀行的金融業(yè)務(wù)場景中，數(shù)據(jù)倉庫系統(tǒng)大部分都涉及到多種渠道采集來的不同數(shù)據(jù)來源和數(shù)據(jù)類型，在系統(tǒng)中，需要對不同數(shù)據(jù)進行定制化的處理和計算。目前原有的系統(tǒng)無法滿足后續(xù)業(yè)務(wù)持續(xù)發(fā)展，客戶決定構(gòu)建全國產(chǎn)化的分布式部署的新數(shù)據(jù)倉庫。

2、建設(shè)目標

本方案的核心目的，就是基于全國產(chǎn)技術(shù)路線的基礎(chǔ)環(huán)境，解決目前數(shù)據(jù)倉庫業(yè)務(wù)中所大量使用的國外數(shù)據(jù)庫的替換問題。對新建系統(tǒng)平臺的目標包括：

1、采用國產(chǎn)芯片服務(wù)器、國產(chǎn)操作系統(tǒng)和國產(chǎn)數(shù)據(jù)庫建設(shè)，建成全國產(chǎn)化的數(shù)倉平臺。

2、處理海量結(jié)構(gòu)化數(shù)據(jù)的平臺來提升系統(tǒng)整體性能和處理效率。

3、對金融業(yè)務(wù)的關(guān)鍵要素和業(yè)務(wù)進行梳理、規(guī)范、治理，構(gòu)建基礎(chǔ)服務(wù)組件，實現(xiàn)業(yè)務(wù)流程化和規(guī)范化、數(shù)據(jù)標準化和集中化、應(yīng)用組件化和服務(wù)化；

4、對應(yīng)用提供標準接口、遷移工具和方法，幫助用戶快速便捷的完成數(shù)據(jù)倉庫整體遷移；

5、提供高可用、高可靠能力，保證業(yè)務(wù)不中斷、可持續(xù)提供服務(wù)滿足業(yè)務(wù)增長需求；

6、保證各業(yè)務(wù)系統(tǒng)性能處于同一水平；

7、提供可視化監(jiān)管運維能力，幫助用戶實時了解運行狀態(tài)、快速定位解決問題。

3、實施方案

吉林銀行數(shù)倉國產(chǎn)化項目于2020年7月15日開始實施，采用GBase 8a MPP Cluster大規(guī)模分布式并行數(shù)據(jù)庫集群系統(tǒng)替代原oracle數(shù)據(jù)庫建設(shè)新的數(shù)據(jù)平臺以滿足業(yè)務(wù)需求，并帶來更高的價值。到2020年9月22日完成系統(tǒng)上線工作。項目采用全國產(chǎn)環(huán)境，“海光7280芯片+中標麒麟v10操作系統(tǒng)+南大通用GBase 8a MPP Cluster v9數(shù)據(jù)庫”。

本項目已經(jīng)運行了700余天。相比原系統(tǒng)，批量數(shù)據(jù)處理類性能提升30%；存儲空間節(jié)省50%以上；軟硬件投資節(jié)省50-90%，節(jié)電30%-50%。

平臺共部署20節(jié)點，數(shù)據(jù)總量近千TB，每日增量近百GB，1.5萬余張表，最大表超過百億行，每天運行超10000個庫內(nèi)加工作業(yè)。同時為銀行內(nèi)部6萬余員工提供7*24小時服務(wù)。

在數(shù)據(jù)裝載方面，完成數(shù)倉主表加工，原Oracle數(shù)據(jù)庫需1小時35分鐘，GBase 8a MPP Cluster只需要15分鐘。

日常業(yè)務(wù)數(shù)據(jù)跑批性能提升：借助MPP數(shù)據(jù)庫的多表關(guān)聯(lián)查詢速度快的優(yōu)勢，模型跑批平均耗時縮短5-10倍。原Oracle數(shù)據(jù)庫需8小時以上，GBase 8a MPP Cluster只需要3小時即可完成。數(shù)據(jù)批量處理時間縮短一半以上。

數(shù)據(jù)同步時效性提升：借助GBASE數(shù)據(jù)同步工具，實現(xiàn)與業(yè)務(wù)系統(tǒng)事務(wù)數(shù)據(jù)庫的高效同步，數(shù)據(jù)同步由1小時縮短到12分鐘，大大提高了數(shù)據(jù)分析的效能。

4、項目價值

該項目構(gòu)建了一套完整的國產(chǎn)數(shù)據(jù)倉庫系統(tǒng)，大幅降低建設(shè)成本，并為金融行業(yè)數(shù)據(jù)倉庫系統(tǒng)建設(shè)提供了國產(chǎn)替代方案。

新系統(tǒng)全面支撐外部監(jiān)管、資產(chǎn)負債、業(yè)務(wù)管理、以及風(fēng)險管理等各項業(yè)務(wù)領(lǐng)域應(yīng)用，面向全行6大業(yè)務(wù)系統(tǒng)提供高效、及時、準確的海量數(shù)據(jù)服務(wù)，為業(yè)務(wù)經(jīng)營發(fā)展提供了創(chuàng)新引擎。