項(xiàng)目背景

廣西移動用戶與業(yè)務(wù)不斷發(fā)展，經(jīng)分系統(tǒng)的數(shù)據(jù)量與日俱增。在這種背景下，為滿足不斷擴(kuò)展的數(shù)據(jù)量和業(yè)務(wù)量要求，廣西移動決定對其NGBASS系統(tǒng)進(jìn)行云化改造。通過使用Hadoop與MPP等x86云化技術(shù)，實(shí)現(xiàn)經(jīng)營分析系統(tǒng)的去IOE化，以達(dá)到快速處理大規(guī)模的數(shù)據(jù)，系統(tǒng)有能力持續(xù)的擴(kuò)容等目的。

需求分析

廣西移動的需求在于：使用目前比較成熟的云化技術(shù)，將原有經(jīng)分系統(tǒng)使用小型機(jī)處理的各類數(shù)據(jù)完全放到x86平臺上處理。隨著業(yè)務(wù)的不斷發(fā)展，對今后4G的統(tǒng)計(jì)分析將全部使用云化平臺處理，屆時(shí)需要對云化平臺進(jìn)行在線擴(kuò)容。

解決方案

廣西移動的數(shù)據(jù)量非常龐大，每天的新增數(shù)據(jù)在1TB以上。整體解決方案使用了87臺x86服務(wù)器作為計(jì)算節(jié)點(diǎn)搭建了一個GBase 8a MPP Cluster集群，GCluster/GCWare為11個節(jié)點(diǎn)集群，GNode為76個節(jié)點(diǎn)集群，目前總數(shù)據(jù)量為610TB。

在底層使用了Hadoop平臺作為ETL系統(tǒng)，將BOSS、客服、網(wǎng)站等接口數(shù)據(jù)先入到Hadoop平臺中，在其內(nèi)進(jìn)行數(shù)據(jù)清洗轉(zhuǎn)換。數(shù)據(jù)在Hadoop平臺上也進(jìn)行少量的匯總工作，將ODS層的數(shù)據(jù)放到Hadoop平臺上進(jìn)行匯總，減輕數(shù)據(jù)倉庫的壓力。

由GBase 8a MPP Cluster構(gòu)成的數(shù)據(jù)倉庫，不僅承擔(dān)了整個數(shù)據(jù)倉庫的所有模型建立、數(shù)據(jù)匯總等工作，也承擔(dān)了數(shù)據(jù)集市的功能。外部用戶可以訪問集群，對有權(quán)限的數(shù)據(jù)進(jìn)行自助訪問和分析。

價(jià)值體現(xiàn)

l  高性能：入庫、匯總、查詢速度比傳統(tǒng)數(shù)據(jù)庫提升10-20倍；

l  與Hadoop整合：易與Hadoop平臺進(jìn)行接口，快速的進(jìn)行數(shù)據(jù)交換；

l  低投高效：GBase 8a MPP Cluster平臺的建立，成本僅僅是相同計(jì)算能力小型機(jī)成本的1/10。