【GBASE案例】歷史數據和增量數據無縫結合神器-實時同步系統 GBase RTSync
項目價值
本項目采用GBase 8a MPP大規模分布式并行數據庫集群系統，搭建14節點集群（5個集群節點+9個數據節點）存儲整合明細數據和輕度匯總數據。
● 準實時同步，準確高效：GBase RTSync實現增量抽取、增量加載的數據準實時同步功能，高達秒級同步效率；而且確保同步數據一致；
● 海量數據，高速初始化：實現高速加載數據，同時提供高壓縮比入庫從而提升性能，海量存儲能力，整合多業務數據，并可根據需求在線動態擴展；
● 全量初始化，無需停機：新業務新表接入國網全業務統一數據中心的源端數據庫不需要停機，也不需要暫停原業務運行，GBase RTSync實現歷史數據和增量數據無縫結合，保障源庫正常運行下，高效加載至整合數據庫中。
項目方案
GBase RTSync+GBase 8a MPP組合。搭建GBase RTSync前置服務器，對接前端貼源歷史庫和后端全域模型的數據明細層及輕度匯總層。RTSync完成歷史數據導入和源庫零停機的增量數據接入，支撐峰值源庫1.5TB/日的歸檔量的增量同步。GBase RTSync + GBase 8a MPP 集群數據庫深度優化綁定方案，滿足海量數據存儲、大規模并行計算、準實時增量流轉等功能需求和性能要求。
產品介紹
南大通用實時同步系統，簡稱：GBase RTSync，它是一款自主研發的異構及同構數據庫增量數據實時同步產品，具備實時性、一致性、精準性、易擴展性和可集成特性，適用于OLTP數據庫與OLAP數據庫聯動向應用系統提供數據管理和數據分析功能的業務場景，可以實現將OLTP數據庫的數據實時同步到OLAP數據庫，從而使得OLAP數據庫具備了實時數據分析的基礎，解決數據增量同步問題，能夠有效提升數據倉庫系統、BI系統和決策支持系統的數據分析效率和及時性。
GBase RTSync核心組件
● Capture：從數據源獲取并解析增量數據邏輯日志，按照特定的協議標準封裝后發送給消息隊列；
● Delivery：從消息隊列組件中獲取協議數據，并根據目標庫的類型，組織和優化數據，將數據寫入目標數據庫；
● MQ：支持Kafka以及Rabbit MQ，兩者均可保證高可用；
● 管理模塊：啟、停和監控Capture 、 Delivery組件，校驗源和目標端數據同步相關配置信息。
GBase RTSync關鍵技術
● 基于邏輯日志的解析的增量同步對源庫影響小
● 在線接管，減少源庫的非計劃停機
● 分布式架構支持水平擴展
● 與主流消息中間件兼容Kafka、rabbitMQ
● 支持高可用模式
項目需求
國網某省份要重點進行人員、財務、物資、客戶、資產、項目等10個業務主題域模型的數據整合實施工作。數據整合任務涉及物理模型有 3000+ 個，涉及來源表有 3000+ 張等。本項目模型多、表多、表關系復雜度高，但要求數據整合工作快速準確，增量數據準實時同步到數據倉庫中。