廣發(fā)銀行Sybase IQ數(shù)據(jù)庫遷移項目
項目概要
廣發(fā)新報表服務(wù)平臺建設(shè)構(gòu)建一套全新國產(chǎn)化MPP 數(shù)倉平臺,滿足以下需求:
高性能、高擴(kuò)展性、高穩(wěn)定性
精準(zhǔn)分析平臺數(shù)倉數(shù)據(jù)遷移
遷移現(xiàn)有Sybase IQ數(shù)據(jù)到新數(shù)倉平臺、14TB壓縮前容量(高頻事實(shí)表與維表)、僅遷移數(shù)據(jù),數(shù)據(jù)模型維持不變
實(shí)施服務(wù)
負(fù)責(zé)完成新平臺構(gòu)建、對接新平臺業(yè)務(wù)、數(shù)據(jù)遷移服務(wù)
五層架構(gòu)描述:
數(shù)據(jù)來源層:廣發(fā)銀行的各個業(yè)務(wù)系統(tǒng)
數(shù)據(jù)交換層:作為源數(shù)據(jù)與數(shù)倉/數(shù)據(jù)湖的中間數(shù)據(jù)交換層,兼容各種數(shù)據(jù)抽取工具
數(shù)據(jù)處理層:該層分為數(shù)據(jù)處理和數(shù)據(jù)加工:數(shù)據(jù)處理層采用湖倉一體化架構(gòu) :數(shù)據(jù)清洗/粗加工在hadoop上完成,借助GBase 8a數(shù)據(jù)融合能力,處理后數(shù)據(jù)透明入倉(不落地)
數(shù)據(jù)加工層:數(shù)據(jù)經(jīng)過清洗加工后,進(jìn)入數(shù)據(jù)主倉,數(shù)據(jù)在主倉完成基礎(chǔ)和共性數(shù)據(jù)加工,主倉由GBase 8a承載
數(shù)據(jù)集市(模型)層:完成數(shù)據(jù)模型的建立和處理, GBase 8a支持各種數(shù)據(jù)模型(關(guān)系、維度模型)。
應(yīng)用&展示層:本層為數(shù)據(jù)應(yīng)用系統(tǒng),包含報表系統(tǒng)和營銷系統(tǒng)以及其它新業(yè)務(wù)平臺。 GBase 8a支持各種BI平臺(PowerBI、Cognos、帆軟、永洪 、SmartBi 等 )
項目使用分布式數(shù)據(jù)庫GBase 8a建設(shè)報表服務(wù)平臺,解決報表統(tǒng)計耗時長、數(shù)據(jù)庫擴(kuò)展困難等問題,對外提供平臺化開發(fā)能力,提供自定義報表服務(wù)、自助報表數(shù)據(jù)下載等功能。