項(xiàng)目背景

PICC數(shù)據(jù)平臺(tái)原系統(tǒng)建設(shè)在TD一體機(jī)平臺(tái)上，軟硬件緊耦合，使用和運(yùn)維成本很高。目前存儲(chǔ)容量和處理性能已達(dá)瓶頸，無(wú)法縱向擴(kuò)容，擴(kuò)容需要中斷業(yè)務(wù)。

本項(xiàng)目旨在通過(guò)采用MPP數(shù)據(jù)庫(kù)產(chǎn)品來(lái)重構(gòu)系統(tǒng)，通過(guò)大規(guī)模并行處理的架構(gòu)，開(kāi)放的X86硬件平臺(tái)，建設(shè)具備分布式計(jì)算和水平線性擴(kuò)展能力的大數(shù)據(jù)平臺(tái)。按照應(yīng)用場(chǎng)景的不同，構(gòu)建獨(dú)立平臺(tái)，實(shí)現(xiàn)平臺(tái)隔離，避免資源競(jìng)爭(zhēng)。以解決目前中國(guó)人民財(cái)產(chǎn)保險(xiǎn)股份有限公司數(shù)據(jù)平臺(tái)存在的存儲(chǔ)資源和計(jì)算性能不足的問(wèn)題。

建設(shè)要求

未來(lái)中國(guó)人民財(cái)產(chǎn)保險(xiǎn)股份有限公司將形成TD一體機(jī)和MPP數(shù)據(jù)庫(kù)共存的數(shù)據(jù)服務(wù)平臺(tái)。

1.可以將運(yùn)行于TD上的經(jīng)營(yíng)分析平臺(tái)、車(chē)險(xiǎn)分析和理賠分析等系統(tǒng)的部分功能遷移至MPP數(shù)據(jù)庫(kù)上，減輕一體機(jī)的壓力。

2.利用MPP數(shù)據(jù)庫(kù)構(gòu)建大數(shù)據(jù)資源中心，促進(jìn)數(shù)據(jù)資源融合共享，提升數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)管理能力。

3.將目前在Oracle和Informix系統(tǒng)上運(yùn)行的數(shù)據(jù)分析系統(tǒng)移植到MPP數(shù)據(jù)庫(kù)中，在大幅降低成本的同時(shí)，提高系統(tǒng)的運(yùn)行效率，為中國(guó)人民財(cái)產(chǎn)保險(xiǎn)股份有限公司的經(jīng)營(yíng)分析和業(yè)務(wù)發(fā)展提供更好的數(shù)據(jù)服務(wù)。

針對(duì)PICC的特點(diǎn)及建設(shè)規(guī)劃，使用GBase 8a集群建設(shè)大數(shù)據(jù)資源中心，通過(guò)GBase 8a集群的列存儲(chǔ)、智能索引、線性擴(kuò)展、分布式并行計(jì)算等技術(shù)特性支撐用戶的業(yè)務(wù)發(fā)展需求，解決TD一體機(jī)、Oracle面臨的性能瓶頸和不能線性擴(kuò)容問(wèn)題。實(shí)現(xiàn)了數(shù)據(jù)分析的統(tǒng)一整合、統(tǒng)一管理、統(tǒng)一調(diào)度，為實(shí)現(xiàn)PICC的新目標(biāo)打下了堅(jiān)實(shí)的基礎(chǔ)。

利用GBase 8a集群數(shù)據(jù)庫(kù)構(gòu)建大數(shù)據(jù)資源中心，促進(jìn)數(shù)據(jù)資源融合共享，提升數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)管理能力。整體系統(tǒng)的架構(gòu)圖如下：

PICC數(shù)據(jù)平臺(tái)架構(gòu)圖

在Oracle和TD系統(tǒng)上運(yùn)行的數(shù)據(jù)分析系統(tǒng)移植到MPP數(shù)據(jù)庫(kù)中，在大幅降低成本的同時(shí)，提高系統(tǒng)的運(yùn)行效率，為PICC的經(jīng)營(yíng)分析和業(yè)務(wù)發(fā)展提供更好的數(shù)據(jù)服務(wù)。

搭建基于GBase 8a MPP Cluster的大數(shù)據(jù)湖平臺(tái)，接入上游業(yè)務(wù)系統(tǒng)數(shù)據(jù)；逐漸剝離主倉(cāng)業(yè)務(wù)，從集市入手逐漸降低TD主倉(cāng)業(yè)務(wù)負(fù)載，剝離核心業(yè)務(wù)，從并行運(yùn)行到逐步遷移替代。

實(shí)施情況

目前PICC已完成數(shù)套生產(chǎn)集群共百余節(jié)點(diǎn)安裝部署，整體承載數(shù)據(jù)量約數(shù)PB。其中ACRM系統(tǒng)搭建A、、B集群承載主要業(yè)務(wù)，日增量基礎(chǔ)數(shù)據(jù)、月度報(bào)表可很快完成數(shù)據(jù)發(fā)布。替換原數(shù)據(jù)庫(kù)Oracle后，整體性能提升2~10倍。SGA、ODS、F、DW、DM各層整體數(shù)據(jù)量數(shù)百TB，完成千余個(gè)程序遷移工作。

效果及價(jià)值

高性能：智能索引、全并行架構(gòu)，支持極速查詢(xún)分析，全面支持高性能查詢(xún)分析場(chǎng)景。ACRM系統(tǒng)數(shù)據(jù)庫(kù)從Oracle + IBM P780服務(wù)器遷移到GBase 8a集群+X86服務(wù)器上，在硬件配置比接近1:1的情況下，性能提升2-10倍以上；

可擴(kuò)展： 開(kāi)放架構(gòu)，可實(shí)現(xiàn)按需水平擴(kuò)展： Shared-Nothing架構(gòu)，支持不中斷業(yè)務(wù)在線按需擴(kuò)展；

高可靠：全組件HA，無(wú)單節(jié)點(diǎn)故障：聯(lián)邦架構(gòu)，集群管理節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)等組件全HA設(shè)計(jì)；支持雙活集群，全方位保障系統(tǒng)的可用性；

易管理：一鍵節(jié)點(diǎn)替換：提供極簡(jiǎn)式節(jié)點(diǎn)硬件故障處理功能；集群間工具DBLink：實(shí)現(xiàn)兩套集群間數(shù)據(jù)可互訪；集群管理工具和監(jiān)控工具，對(duì)多套集群集中式、圖形化操作。

原廠服務(wù)：原廠為PICC提供TD數(shù)倉(cāng)遷移，Oracle遷移的解決方案及專(zhuān)家支持服務(wù)。