項(xiàng)目背景

近年隨著云南移動(dòng)的業(yè)務(wù)量激增，企業(yè)的業(yè)務(wù)分析系統(tǒng)不斷面臨日益增長的數(shù)據(jù)處理規(guī)模的壓力，并且以精細(xì)化、個(gè)性化服務(wù)的理念做驅(qū)動(dòng)，運(yùn)營商企業(yè)對(duì)經(jīng)營分析的處理模型愈加復(fù)雜，由此業(yè)務(wù)對(duì)系統(tǒng)的數(shù)據(jù)承載能力和分析處理能力提出了更高的要求。基于以上要求，中國移動(dòng)云南經(jīng)分大數(shù)據(jù)平臺(tái)改造工程，計(jì)劃引入MPP 關(guān)系型數(shù)據(jù)庫來實(shí)現(xiàn)整體性能提升。

解決方案

MPP 經(jīng)分倉庫數(shù)據(jù)庫和 DB 構(gòu)建的傳統(tǒng)經(jīng)分主庫共同組構(gòu)為實(shí)現(xiàn)云南移動(dòng)經(jīng)分業(yè)務(wù)的客戶分析類、服務(wù)分析類、渠道分析類等各類主題域分析的統(tǒng)一數(shù)據(jù)分析平臺(tái)。為使企業(yè)構(gòu)建面向更大規(guī)模數(shù)據(jù)和更復(fù)雜的挖掘分析處理打下平臺(tái)建設(shè)基礎(chǔ)。做為本項(xiàng)目的經(jīng)分?jǐn)?shù)據(jù)倉庫的擴(kuò)容思路，擴(kuò)容后經(jīng)分系統(tǒng)下的各個(gè)平臺(tái)要素之間的數(shù)據(jù)處理具體流程如下：

• 從 BOSS、計(jì)費(fèi)、CRM 等業(yè)務(wù)系統(tǒng)收集業(yè)務(wù)原始數(shù)據(jù)；

• 經(jīng)傳統(tǒng)系統(tǒng)下的 Informatica、SAS 等 ETL 工具對(duì)數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換；

• 將清洗后數(shù)據(jù)通過 ETL 工具的加載功能分路傳送到當(dāng)前的 Oracle/DB2 經(jīng)分

主庫和 MPP 接口機(jī)上。接口機(jī)完成最終的數(shù)據(jù)向 GBase 8a MPP Cluster 數(shù)據(jù)庫的加載。

數(shù)據(jù)平臺(tái)劃分為由傳統(tǒng)集中式數(shù)據(jù)庫與 MPP 分布式數(shù)據(jù)庫共同構(gòu)建的集成式數(shù)據(jù)倉庫平臺(tái)。新的數(shù)據(jù)平臺(tái)可以融合 MPP 分布式數(shù)據(jù)庫的可擴(kuò)展優(yōu)勢，也可集成傳統(tǒng)數(shù)據(jù)倉庫平臺(tái)上對(duì)高價(jià)值密度數(shù)據(jù)的強(qiáng)一致性等各類數(shù)據(jù)可靠性保證。

云南移動(dòng)經(jīng)分系統(tǒng)架構(gòu)圖

應(yīng)用效果

低成本：GBase 8aMPP Cluster數(shù)據(jù)庫運(yùn)行于低成本的X86PCServer，有效節(jié)省硬件投入成本，將擴(kuò)容成本降為原來的1/10左右；

動(dòng)態(tài)擴(kuò)展：GBase8aMPPCluster數(shù)據(jù)庫節(jié)點(diǎn)的水平橫向擴(kuò)展模式，動(dòng)態(tài)擴(kuò)展無須停止服務(wù)，保證服務(wù)連貫性；

高可用：GBase 8a MPP Cluster 數(shù)據(jù)庫提升整個(gè)系統(tǒng)的協(xié)同效率，基于安全組的備份策略，能夠保證某節(jié)點(diǎn)在發(fā)生故障時(shí)，不影響系統(tǒng)對(duì)外提供服務(wù)的連續(xù)性