● 快速上線：GBase 8a MPP支持SQL92標(biāo)準(zhǔn)，語法上與傳統(tǒng)的基于DB2的數(shù)據(jù)倉庫能夠最大兼容，縮短了應(yīng)用開發(fā)的周期，節(jié)約了項(xiàng)目人力投入；

● 支持海量數(shù)據(jù)：GBase 8a MPP承載了整個基地業(yè)務(wù)分析系統(tǒng)的核心數(shù)據(jù)倉庫作用，負(fù)責(zé)逐層數(shù)據(jù)加工，基于高效的復(fù)雜關(guān)系運(yùn)算和數(shù)據(jù)關(guān)聯(lián)運(yùn)算能力，保證了對海量多樣的業(yè)務(wù)數(shù)據(jù)的整合處理能力和及時的數(shù)據(jù)加工能力；

● 快速查詢響應(yīng)： GBase 8a MPP作為數(shù)據(jù)倉庫平臺，大幅提高數(shù)據(jù)定位效率和處理并行度，實(shí)現(xiàn)在一種平臺上同時支持高效的離線批處理和自助取數(shù)等交互數(shù)據(jù)處理模式。

本期平臺架構(gòu)如下包括如下幾部分內(nèi)容：

● 數(shù)據(jù)接口：本平臺聚合現(xiàn)有業(yè)務(wù)數(shù)據(jù)，包括：大數(shù)據(jù)平臺、核心平臺、以及相關(guān)各業(yè)務(wù)平臺數(shù)據(jù)等；接口數(shù)據(jù)包括從各個業(yè)務(wù)系統(tǒng)收集的天氣、生活、工作、農(nóng)情氣象、政務(wù)、核心平臺、營銷支持、基地網(wǎng)站、熱線等各類業(yè)務(wù)數(shù)據(jù)；

● 數(shù)據(jù)計(jì)算和存儲：整體倉庫采用MPP架構(gòu)實(shí)現(xiàn)高并發(fā)、高性能的數(shù)據(jù)處理能力。數(shù)據(jù)倉庫由ODS、DWD、DW、DM組成，形成面向應(yīng)用的數(shù)據(jù)倉庫模型架構(gòu)；

● 數(shù)據(jù)應(yīng)用：系統(tǒng)對外提供指標(biāo)和標(biāo)簽服務(wù)；

● 數(shù)據(jù)共享：在服務(wù)提供形式上，對外實(shí)現(xiàn)API、文件、消息三類數(shù)據(jù)共享方式；

● 數(shù)據(jù)資產(chǎn)管理：提供數(shù)據(jù)的統(tǒng)一調(diào)度、統(tǒng)一監(jiān)控、統(tǒng)一分發(fā)。

作為本系統(tǒng)的數(shù)據(jù)存儲和管理層的數(shù)據(jù)倉庫平臺，采用GBase 8a MPP Cluster在MPP內(nèi)部存儲和管理從各個系統(tǒng)收集并清洗過的ODS數(shù)據(jù)，并在ODS之上利用MPP數(shù)據(jù)庫強(qiáng)大的復(fù)雜關(guān)系處理能力、數(shù)據(jù)關(guān)聯(lián)運(yùn)算能力，進(jìn)行逐層加工，形成庫內(nèi)DWD、DWA的數(shù)據(jù)倉庫層，并從數(shù)據(jù)倉庫層的數(shù)據(jù)導(dǎo)出DM數(shù)據(jù)集市數(shù)據(jù)供上層應(yīng)用實(shí)現(xiàn)指標(biāo)運(yùn)算、標(biāo)簽算法和自助取數(shù)處理。對于ODS層的94156張表、DW層的7219張表，系統(tǒng)在每天夜間2：00完成各類數(shù)據(jù)入庫處理后，能夠保證在次日的8：30業(yè)務(wù)時間開始前完成所有的指標(biāo)計(jì)算和標(biāo)簽生成工作，大大提升了數(shù)據(jù)處理的能力。

某基地是某電信運(yùn)營商集中建設(shè)、服務(wù)全國的公益性民生信息服務(wù)平臺。隨著該基地業(yè)務(wù)規(guī)模和種類的不斷拓展，數(shù)據(jù)規(guī)模以前所未有的方式增長，數(shù)據(jù)類型呈現(xiàn)多樣化發(fā)展的特點(diǎn)，傳統(tǒng)的數(shù)據(jù)管理能力已經(jīng)不能滿足現(xiàn)有業(yè)務(wù)發(fā)展的需要，提升數(shù)據(jù)的集中存儲和數(shù)據(jù)資產(chǎn)管控能力迫在眉睫。此外基地業(yè)務(wù)對于數(shù)據(jù)的開發(fā)和利用也呈多樣化要求發(fā)展的趨勢，表現(xiàn)在數(shù)據(jù)標(biāo)簽的生成、數(shù)據(jù)挖掘模型的建立、KPI指標(biāo)的展現(xiàn)與監(jiān)控等等?；谶@種發(fā)展要求，該基地也非常迫切建立新型架構(gòu)的用戶數(shù)據(jù)分析平臺以滿足現(xiàn)有業(yè)務(wù)的發(fā)展需要。當(dāng)時基于小型機(jī)+傳統(tǒng)關(guān)系型數(shù)據(jù)庫構(gòu)建的經(jīng)營分析系統(tǒng)，對于基地?cái)?shù)據(jù)分析等大數(shù)據(jù)應(yīng)用存在著擴(kuò)展性差、性能隨數(shù)據(jù)增加而下降、系統(tǒng)無法靈活變更數(shù)據(jù)模型以及數(shù)據(jù)庫優(yōu)化代價(jià)高等關(guān)鍵問題。該基地用戶數(shù)據(jù)中心分析平臺的建設(shè)以實(shí)現(xiàn)有效聚合基地?cái)?shù)據(jù)，實(shí)現(xiàn)海量數(shù)據(jù)高效處理為目標(biāo)，本期建設(shè)采用先進(jìn)的倉庫架構(gòu)、模型及軟件功能，進(jìn)行規(guī)范的基地?cái)?shù)據(jù)資產(chǎn)管控，實(shí)現(xiàn)內(nèi)部數(shù)據(jù)有效整合。

該基地用戶數(shù)據(jù)中心分析平臺實(shí)現(xiàn)內(nèi)部數(shù)據(jù)的有效整合，通過自助取數(shù)、API等多種對外開放能力，將標(biāo)簽、指標(biāo)能力對外進(jìn)行提供。該平臺為角色用戶、業(yè)務(wù)提供了面向市場的營銷支撐能力：

● 實(shí)現(xiàn)數(shù)據(jù)的集中存儲及數(shù)據(jù)資產(chǎn)的集中管理；

● 實(shí)現(xiàn)與業(yè)務(wù)平臺和支撐平臺的上下行數(shù)據(jù)接口；

● 實(shí)現(xiàn)與重慶業(yè)務(wù)大數(shù)據(jù)平臺的接口。

作為本項(xiàng)目所實(shí)現(xiàn)的分析業(yè)務(wù)目標(biāo)包括：

● 指標(biāo)展現(xiàn)（KPI、報(bào)表），數(shù)據(jù)指標(biāo):6個業(yè)務(wù)，共135指標(biāo)；

● 數(shù)據(jù)標(biāo)簽:6個業(yè)務(wù)，共734標(biāo)簽；

● 數(shù)據(jù)挖掘：6個業(yè)務(wù)，每個業(yè)務(wù)1個模型，共6個模型；

● 標(biāo)簽對外服務(wù)：通過自助取數(shù)、API等多種形式對外進(jìn)行標(biāo)簽對外服務(wù)。

作為系統(tǒng)數(shù)據(jù)倉庫承載的總數(shù)據(jù)規(guī)模，數(shù)據(jù)承載60TB數(shù)據(jù)量，每日入庫數(shù)據(jù)為200GB。整個分析業(yè)務(wù)相關(guān)的數(shù)據(jù)涉及近10萬張表，數(shù)據(jù)每日的日次處理需要在次日業(yè)務(wù)時間（8:30）開始前完成。