GBase UP
統一數據平臺GBase UP
產品簡介
產品簡介
南大通用統一數據平臺系統，簡稱：GBase UP，它是融合了GBase 8a MPP、GBase 8s、開源Hadoop生態系統的大數據平臺產品，兼顧大規模分布式并行數據庫集群系統、穩定高效的事務數據庫，以及Hadoop生態系統的多種大規模結構化與非結構化數據處理技術，能夠適應OLAP、OLTP和NOSQL三種計算模型的業務場景，是構建企業數據平臺的重要基礎設施。
GBase UP以成熟的GBase 8a MPP商用數據庫為基礎，擴展出針對Hive & Spark、HBase、GBase 8s的計算和存儲引擎，建立引擎之間高效數據交換通道，構建了對外統一，對內可擴展的集群數據庫產品。
對于企業而言，GBase UP建立了一個多種數據存儲和混搭計算的基礎設施，將存儲資源和計算資源合理調配，破除數據豎井，通過統一接口完成數據的加工生產，從而創造更多的數據價值；對于信息集成廠商，GBase UP提供了能夠處理結構化數據和非結構化數據、關系型和非關系型數據的一站式解決方案。對于最終用戶和App開發者而言，GBase UP為用戶提供經典的數據庫接入方式和結構化查詢語言，從而大大降低維護和開發成本。
與數據網關、數據庫代理&路由、中間件等方案不同：GBase UP是一款分布式數據庫集群產品，對外構建完整的Schema定義和數據庫訪問控制，能夠對用戶數據庫訪問進行解析、優化、數據緩沖等操作，完成透明高效的中間數據存儲、關聯、聚合等操作，對內構建Gbase 8a MPP、GBase 8s、Hadoop之間的內部數據傳輸協議，實現高效的數據交換，構建統一的監視和控制系統，進行資源調度。為用戶提供高效的、易管理的、總體擁有成本低的產品和服務。
借助GBase UP，企業可以在實施大數據項目時實現四減二增，四減：在項目前期避免陷入MPP數據庫和Hadoop生態的選型困難，減少決策成本；在系統業務信息架構階段，借助統一模式，減少業務建模成本；在應用開發階段，開發者采用標準的ODBC、JDBC等傳統方式訪問平臺，減少開發成本；在項目交付后，通過統一的監控系統，減少運營成本；二增：破除數據孤島，打破“豎井”型數據中心間的隔離，實現數據增值；融合MPP和Hadoop各自計算能力，實現計算增值。
產品架構
GBase UP是以GBase 8a MPP最新超大規模集群版本為基礎，融合GBase 8s和Hadoop Hive/Spark，實際部署時可以理解為5個小集群/集合，其中：GBaseUP負責連接接入，元數據管理，跨集群查詢調度，安全認證，日志記錄等一系列分布式數據庫的功能；GBase 8a集群（集合）負責高質量高密度高性能的數據存儲和計算；Gbase 8s負責支撐高端事務處理；Hive集群負責驅動Hadoop或Spark集群實現對低密度、低質量、結構化/非結構化的大數據進行分析；Hadoop集群的HDFS負責高效高可用的存儲海量數據，HBase負責存儲海量中小文件，以及作為分布式可擴展的KV型數據倉庫。
技術特性
GBase UP繼承了GBase 8a MPP的Shared Nothing節點對等的扁平架構，能夠運行在普通的X86服務器上，同時還具備以下技術特征：
統一的標準化接入
支持C API、ODBC、JDBC、ADO.NET等接口規范。
統一的標準化查詢語言
支持SQL92標準，并在此基礎上支持HiveHQL、GBase 8s的SQL擴展，DDL部分支持方言，DML盡可能采用標準SQL。
統一的數據視圖
通過統一的元數據管理，將OLTP、OLAP、Hadoop數據庫可以看作一個視圖，供數據建模工程師構建統一的信息的生產流程。
統一安全
基于GBase 8a MPP的安全體系，擴展對其他引擎的安全認證，避免了多種認證模式，彌補如HIVE等對安全實現不足的短板。
統一事務
支持跨異構集群的事務管理。
統一調度
透明實現跨引擎關聯查詢。
統一日志
增加保存日志到hadoop的機制，供諸多分析工具訪問。
統一監控
監視UP平臺的各個服務器的軟硬件指標。
高效數據交換
內置引擎之間建立高速多對多的內部通道。
高可擴展性
GBase 8a MPP、GBase 8s、Hive是GBase UP的內置引擎，還可以通過開發對應的擴展插件實現各層的擴展。
數據生命周期管理
根據數據在不同時期的存儲和計算特征，實現跨異構引擎的數據分區功能，實現數據透明的跨分區訪問和在線遷移。
增強的管理能力
數據通過副本提供冗余保護，自動故障探測和管理，自動同步元數據和業務數據。提供圖形化工具，對GBase 8s、GBase 8a MPP和Hadoop生態提供統一的管理工作。
商業價值
易使用
- 豐富的SQL支持；
- 利用現有技能同時查詢NOSQL大數據和關系型數據；
- 自動化數據集成。
易維護
- 統一的用戶權限管理；
- 統一的監控預警；
- 一鍵安裝部署升級。
統一調度
- 實現應用和底層各引擎隔離，對上層應用透明，使用戶專注于數據價值；
- 簡化應用開發復雜度；
- 實現了統一數據交換，統一數據集成，統一全數據分析。
全數據
- 同時存儲結構化數據和非結構化數據；
- 同時具備處理SQL和NoSQL的能力；
- 支持多種應用場景，支撐統計、自助查詢、多維分析、數據挖掘、深度學習、流處理、圖計算、批量處理等應用場景。
低成本
- 大大降低項目實施、應用開發的復雜度和成本；
- 可利用原有數據資產，與原有數據資產進行融合使用，能夠與云平臺融合使用。
核心優勢
全融合，一套產品集成多種數據源，全類型數據，全處理引擎；
統一調度，高性能；
基于GBase UP核心技術、領先的MPP核心技術進行云分析；
結合多種引擎，根據場景各取所長；
成熟穩定，案例豐富；
節點數>4000個，總數據量>100PB；
標準化，標準訪問接口；
支持多種開發語言；
靈活的擴展接口；
國產化，核心產品完全自主；
適配多種國產平臺。
適用場景
企業級數據倉庫
基于DaaS、GBase UP LDW架構的數據倉庫
電信行業數據倉庫
金融行業大數據分析的數據倉庫
