天津農商銀行數據倉庫國產化替換升級項目
天津農商銀行數據倉庫國產化替換升級項目
1項目概況
項目背景
天津農商銀行原數據倉庫系統是天津農商銀行重要基礎平臺類系統。原數據倉庫系統一直部署在Netezza一體機上,鑒于數據是銀行的重要資產,數據分析是使數據產生價值的有效方法,增強對數據資產和相關設備的自主掌控是金融業基礎設施國產化替代的重點方向,因此天津農商銀行決定替換數據倉庫系統的Netezza一體機并對原數據倉庫系統進行升級改造。
天津農商銀行原數據倉庫主要用于存儲來自各個業務系統的數據,包括核心系統、個貸系統、網銀系統、零售系統等。各系統數據量不斷增長,數據復雜,包括2000多張各類小型復雜表格和多張數據容量巨大的事實表,如何選擇替代原有Netezza系統新的數據倉庫系統,是整個項目的難點。另外,替換Netezza之后,保持現有架構不進行大的更改情況下,持續支持未來五年的增量數據也是需要解決的問題。因此,天津農商銀行擬購買符合信息創新應用的國產化數據庫替換現有Netezza系統,建設新一代數據倉庫系統。
業務需求
為建立高性能與架構擴展靈活的國產數據倉庫系統,解決天津農商行數據倉庫系統面臨的Netezza替代問題,并滿足未來持續增長的數據業務,此次升級改造項目需要滿足如下要求:
國產平臺:架構支持國產化軟硬件平臺,包括操作系統、服務器等;
無縫遷移:替換原有國外Netezza一體機系統,完成歷史業務遷移,支持數據批量導入,具備自定義函數功能,滿足替換業務無縫遷移;
業務增量:對未來五年增量數據的存儲、管理、使用提供可靠保障,平臺規??呻S著數據增長進行彈性擴展;
業務性能:提升業務數據即席查詢的性能。
建設要求
鑒于數據是銀行的重要資產,數據分析是使數據產生價值的有效方法,增強對數據資產和相關設備的自主掌控是本次天津農商行國產替代的重點需求。
支持數據存儲加密,支持數據庫密碼加密,支持數據加密壓縮;支持相關加密函數;
支持國產化服務器、操作系統部署。
2解決方案
天津農商銀行新的數據倉庫系統搭建了十余個節點規模的GBase 8a MPP Cluster集群,承載所有結構化數據的存儲和計算任務,完成數據加工、數據處理、數據分析等任務。使用數據抽取工具將原有Netezza數據庫中數據抽取到GBase 8a MPP Cluster,實現了數據遷移無縫對接,不僅保證了Netezza原有功能,還提高了數據的存儲容量與計算性能。另外,同上層應用廠商配合,順利完成業務遷移任務,順利實施產品部署和適配工作。
天津農商行數據倉庫系統架構圖
3 應用效果及價值
天津農商行采用Base 8a MPP集群建設數據倉庫,實現了預期的建設目標,帶來了技術和業務方面的雙重價值,主要體現以下:
全面平臺國產化:基于全國產化平臺,結合GBase 8a MPP的先進的設計架構和高性能的數據處理能力,全面替代傳統的數倉一體機架構。
海量存儲:GBase 8a MPP相比統Netezza一體機架構,具有海量數據高壓縮比入庫存儲能力,大大降低了系統使用的存儲空間。
性能優越性:GBase 8a MPP加載TB級數據,性能高達20TB/小時,具有高速數據加載、數據導出、數據處理等優越的性能,同時集群業務跑批性能超過傳統Netezza一體機架構。
高可用性:GBase 8a MPP 的多級高可用技術全面保障天津農商行的數倉、報表、稽查等多套系統的可用性,確保系統7×24 小時穩定運行,無單點故障風險。
安全可控:核心數倉系統均采用掌握完全知識產權的國產分布式數據庫產品,具備自主研發,安全可控的特性,全面提升銀行存量數據的數據安全和業務安全。
優質服務保障:GBase的全方位一體化的產品服務,為用戶提供了全方位的保障。