近期，泉州銀行數(shù)據(jù)平臺(tái)項(xiàng)目成功上線，此項(xiàng)目數(shù)據(jù)倉庫采用南大通用GBase 8a mpp cluster構(gòu)建，借助GBase 8a mpp cluster數(shù)據(jù)融合的能力實(shí)現(xiàn)與大數(shù)據(jù)平臺(tái)的信息共享。項(xiàng)目一期規(guī)劃數(shù)十節(jié)點(diǎn)的MPP集群規(guī)模，來支撐泉州銀行的大數(shù)據(jù)分析平臺(tái)，助力泉州銀行全國產(chǎn)化解決方案的落地。

項(xiàng)目概況

泉州銀行正處于業(yè)務(wù)發(fā)展的新階段，新業(yè)務(wù)模式層出不窮，數(shù)據(jù)量日益增多，隨著業(yè)務(wù)數(shù)據(jù)的內(nèi)容和形式不斷豐富，對(duì)數(shù)據(jù)支撐及數(shù)據(jù)服務(wù)的總體能力提出了更高的要求。因此，基于大數(shù)據(jù)技術(shù)，整合現(xiàn)有行內(nèi)數(shù)據(jù)，接入行外數(shù)據(jù)，搭建并行處理能力強(qiáng)、易于擴(kuò)展的大數(shù)據(jù)平臺(tái)刻不容緩。

通過數(shù)據(jù)中臺(tái)的建設(shè)，泉州銀行以提升“數(shù)據(jù)資產(chǎn)變現(xiàn)”能力為業(yè)務(wù)目標(biāo)的一站式、一體化開發(fā)平臺(tái)，實(shí)現(xiàn)全行數(shù)據(jù)的大集中管理，統(tǒng)一全行數(shù)據(jù)開發(fā)平臺(tái)，數(shù)據(jù)標(biāo)準(zhǔn)并提高數(shù)據(jù)質(zhì)量，輔助全行實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型目標(biāo)。

解決方案

泉州銀行數(shù)據(jù)體系總體架構(gòu)規(guī)劃

1. 數(shù)據(jù)集成

包括內(nèi)部各源業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)、半/非結(jié)構(gòu)化數(shù)據(jù)和外部來源數(shù)據(jù)，為數(shù)據(jù)平臺(tái)提供源數(shù)據(jù)來源。

2. 數(shù)據(jù)管控

數(shù)據(jù)管控平臺(tái)包括元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資產(chǎn)管理等。數(shù)據(jù)管控始終貫穿數(shù)據(jù)平臺(tái)的整個(gè)建設(shè)過程，需要規(guī)劃數(shù)據(jù)管控平臺(tái)的體系架構(gòu)，分析梳理行內(nèi)數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)的管理流程，結(jié)合數(shù)據(jù)管控平臺(tái)做好數(shù)據(jù)管理，提升數(shù)據(jù)質(zhì)量。

3. 數(shù)據(jù)開發(fā)運(yùn)維

制定統(tǒng)一的開發(fā)規(guī)范，提高數(shù)據(jù)開發(fā)質(zhì)量以及開發(fā)效率，降低數(shù)據(jù)運(yùn)維成本。主要包括統(tǒng)一數(shù)據(jù)采集、統(tǒng)一數(shù)據(jù)交換、統(tǒng)一ETL處理和統(tǒng)一調(diào)度平臺(tái)等產(chǎn)品工具，貫穿數(shù)據(jù)平臺(tái)的整個(gè)開發(fā)和運(yùn)維過程。

4. 數(shù)據(jù)平臺(tái)

數(shù)據(jù)平臺(tái)包括基礎(chǔ)數(shù)據(jù)平臺(tái)和大數(shù)據(jù)平臺(tái)，為數(shù)據(jù)應(yīng)用提供數(shù)據(jù)支持。數(shù)據(jù)平臺(tái)由大數(shù)據(jù)平臺(tái)與數(shù)據(jù)倉庫組成，本次項(xiàng)目數(shù)據(jù)倉庫采用南大通用GBase 8a mpp cluster構(gòu)建，借助GBase 8a mpp cluster數(shù)據(jù)融合的能力實(shí)現(xiàn)與大數(shù)據(jù)平臺(tái)的信息共享。項(xiàng)目一期規(guī)劃為數(shù)十個(gè)節(jié)點(diǎn)的MPP集群規(guī)模，未來支撐泉州銀行全行的大數(shù)據(jù)分析平臺(tái)。

5. 數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)體系根據(jù)應(yīng)用系統(tǒng)的業(yè)務(wù)需求，由數(shù)據(jù)平臺(tái)提供數(shù)據(jù)，分級(jí)分類提供數(shù)據(jù)交換服務(wù)，包括聯(lián)機(jī)查詢服務(wù)、實(shí)時(shí)計(jì)算服務(wù)、外部數(shù)據(jù)服務(wù)和批量數(shù)據(jù)服務(wù)等，滿足數(shù)據(jù)平臺(tái)與內(nèi)部應(yīng)用系統(tǒng)、外部系統(tǒng)交互的需要。其中，我們還可以通過自助分析工具，為用戶提供自助分析等數(shù)據(jù)服務(wù)功能。

6. 數(shù)據(jù)應(yīng)用

數(shù)據(jù)應(yīng)用體系作為數(shù)據(jù)平臺(tái)的展現(xiàn)及應(yīng)用窗口，主要通過統(tǒng)一應(yīng)用平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)展現(xiàn)分析固定報(bào)表、自助分析、靈活查詢、圖形化展示、歷史查詢等，滿足用戶對(duì)報(bào)表管理以及數(shù)據(jù)分析的迫切要求，支持經(jīng)營決策，充分挖掘數(shù)據(jù)價(jià)值。

效果及價(jià)值

1. 湖倉一體化

GBase 8a mpp cluster數(shù)據(jù)融合能力可實(shí)現(xiàn)MPP與Hadoop平臺(tái)無縫數(shù)據(jù)融合能力：使用統(tǒng)一的訪問接口，實(shí)現(xiàn)在線透明跨異構(gòu)平臺(tái)的數(shù)據(jù)交互、異構(gòu)平臺(tái)的數(shù)據(jù)流轉(zhuǎn)，借助該能力可以構(gòu)建泉州銀行湖倉一體化平臺(tái)，實(shí)現(xiàn)湖批倉算、數(shù)據(jù)生命周期管理、多模數(shù)據(jù)融合的能力。

2. 自主可控

全平臺(tái)采用純國產(chǎn)平臺(tái)：包括服務(wù)器、數(shù)據(jù)庫。國產(chǎn)化整體解決方案極大的提升平臺(tái)的高可靠性。

3. 高穩(wěn)定性

GBase 8a mpp cluster提供多種高可用機(jī)制：通過多副本提供單集群的高可用、通過虛擬集群技術(shù)提供邏輯集群的高可用、通過數(shù)據(jù)容災(zāi)實(shí)現(xiàn)跨機(jī)房的高可用，因此可以滿足金融行業(yè)兩地三中心的高可用保障。