日前，由GBASE南大通用承辦的第二十五屆中國國際軟件博覽會·中國數(shù)據(jù)庫產(chǎn)業(yè)峰會在天津召開。會上，國家氣象信息中心氣象科技首席專家徐擁軍發(fā)表題為“氣象大數(shù)據(jù)存儲體系設計”的主題演講。

背景介紹

為滿足天氣預報、氣候預測、決策服務和公眾服務等氣象業(yè)務對海量氣象數(shù)據(jù)存儲與服務的需求，實現(xiàn)氣象業(yè)務集約化的目標。國家氣象信息中心基于業(yè)務數(shù)據(jù)應用特征，結合多種分布式存儲技術，設計了一套氣象大數(shù)據(jù)存儲體系。

通過規(guī)范數(shù)據(jù)存儲結構，利用數(shù)據(jù)同步、分級存儲以及數(shù)據(jù)服務接口等方面的關鍵技術，解決了氣象數(shù)據(jù)在分布式異構存儲技術間的統(tǒng)一管理和服務的問題。經(jīng)過應用實踐證明，氣象大數(shù)據(jù)存儲系統(tǒng)存儲能力達到了30PB，數(shù)據(jù)分級管理流程高效，數(shù)據(jù)統(tǒng)一服務響應時效在1秒以內，具備直接支撐氣象業(yè)務的能力。

氣象大數(shù)據(jù)存儲體系設計

徐擁軍講到，我國氣象事業(yè)發(fā)展歷程同時也是一部氣象部門信息化建設史，氣象業(yè)務的每一次重大進步，背后都有信息技術的推動和支撐。近年來，隨著監(jiān)測更加精密化和多源數(shù)據(jù)廣泛匯集，氣象數(shù)據(jù)持續(xù)爆炸式增長。截至2022年底，氣象數(shù)據(jù)已經(jīng)覆蓋21個行業(yè)，2348類；數(shù)據(jù)量增至近百PB，日增量41TB。

為解決數(shù)據(jù)集約、業(yè)務集約問題，有效支撐氣象業(yè)務系統(tǒng)和各類數(shù)據(jù)應用，2021年年底，按照氣象信息網(wǎng)絡國省兩級部署、國省市縣四級應用的業(yè)務布局，氣象大數(shù)據(jù)云平臺(簡稱天擎)在國省業(yè)務化運行，開啟“云+端”氣象業(yè)務運行新業(yè)態(tài)。

天擎系統(tǒng)的核心能力是統(tǒng)籌管理觀測、預報、服務、行業(yè)、社會等完整權威的地球系統(tǒng)大數(shù)據(jù)，以及提供“數(shù)據(jù)、算力、算法”三統(tǒng)一的平臺化服務，其融合了多種分布式存儲技術，實現(xiàn)海量數(shù)據(jù)長序列在線、高并發(fā)快速存取，面向氣象應用提供毫秒~秒級的訪問時效；基于分布式、GPU、流處理等計算框架，構建“數(shù)算一體”加工流水線，支持業(yè)務算法快速集成，按業(yè)務自然時序調度運行。

天擎系統(tǒng)基于南大通用分布式邏輯數(shù)據(jù)倉庫GBase 8a MPP Cluster構建，國家級氣象部門部署近100節(jié)點，省級氣象部門部署近300節(jié)點。其中，國家級兩地三中心天擎系統(tǒng)，單個集群內總記錄數(shù)20億以上數(shù)據(jù)表有23個，最大的單表已經(jīng)達到1268億數(shù)據(jù)量。

案例1：基于位置的實況數(shù)據(jù)公眾服務系統(tǒng)

GBase8a歷史分析庫提供支持高并發(fā)訪問的數(shù)據(jù)接口。開展5分鐘滾動24小時內最大值、最小值、平均值等數(shù)據(jù)統(tǒng)計，涉及中國地面分鐘降水數(shù)據(jù)1280億條，每日數(shù)據(jù)增量 8000萬條；中國地面小時表數(shù)據(jù)量69億，每日數(shù)據(jù)增量168萬條。依托GBase 8a的列式存儲、高效查詢與高并發(fā)訪問能力，統(tǒng)計性能均達到2秒內結果響應。

案例2：公服中心交管天氣風險管控平臺

平臺利用GBase 8a邏輯數(shù)據(jù)倉庫的分析統(tǒng)計功能，完成每個時次的全國風險統(tǒng)計。

目前“公服”庫，數(shù)據(jù)規(guī)模達到280億條。基于GBase 8a的高壓縮特性，數(shù)據(jù)存儲只占用3T，滿足高效壓縮存儲要求。裸數(shù)據(jù)文件大小約為5.8T，壓縮比約為1:4，按此規(guī)模預計可以支撐將近70年的數(shù)據(jù)資料存儲和訪問。