項目背景

通信管理局是省級行政區域內通信行業的主管部門，對省內電信業進行集中統一的監督管理。為了實現對基礎電信網絡安全分析和行業監管，通管局大數據分析平臺總體定位是提供智能威脅信息的整合管理和分析功能，通過海量異構數據的集中采集和數據集中進行威脅分析，發現威脅并將相關潛在威脅信息予以挖掘呈現。

建設要求

本項目要求大數據分析平臺能夠有效支撐各類業務信息的處理和運行，提供面向在線、離線數據存儲和處理的綜合能力，并滿足易于管理和擴展的需要。
平臺系統需要支持各類結構化、半結構化與非結構化數據的存儲，通過可擴展性的分布式平臺技術有效支撐對各類數據的加工、檢索、統計、分析和數據深度挖掘的需要，并對資源與任務實現最優的調配管理，最終為上層各業務系統提供基于標準接口方式的數據的存儲、檢索、統計和分析等服務能力。

平臺建設需要支撐以下功能實現：

• 數據的匯入存儲

采用先進的大數據存儲查詢架構，實現對各類結構化、半結構化與非結構化數據采集、預處理、日志數據標準化入庫，并實現高效的數據整合存儲、海量數據快速分析、實時查詢等；

• 威脅信息關聯發現

通過特征抽取，和大數據平臺的關聯分析能力，實現大數據的關聯發現、數據間透視分析、和威脅行為的上下文推測，為威脅分析提供數據的邏輯支撐；

• 數據的深度分析和挖掘

通過各類匯合數據為大數據的分析判定提供數據支撐，并通過大數據的逐步分析到深度分析的技術流程建立，發現各類威脅模式，完善安全知識庫的功能，包括但不限于自治區漏洞庫、惡意代碼庫、惡意程序庫、IP/域名信譽庫、入侵特征庫等，并通過系統的管理實現各知識庫中規則的更新、管理等功能。

• 靈活的數據共享訪問

主要實現數據的統一共享功能，其中平臺對上層服務的各類數據輸出接口，主要通過標準化接口進行實時數據的調用輸出，非實時數據接口主要是以標準日志格式通過FTP等進行數據傳輸。

本項目采用GBase UP大數據融合平臺，為用戶構建標準統一的數據采集、數據訪問的DaaS平臺。平臺包括數據采集層、數據存儲層、數據計算層、分析服務層和大數據統一監控管理。平臺架構如下： 

說明：

• 數據采集層用于支持數據采集、過濾、緩存、中轉分發調度；

• 數據存儲層用于支持海量異構數據的統一可靠的存儲管理，對外提供標準化統一的結構化、半結構化和非結構化數據的訪問接口；

• 數據計算層是基于支持多種計算模型的分布式計算框架，為上層業務系統提供專業的計算處理庫；

• 分析服務層為上層業務系統提供各種不同協議和標準的訪問接口，并實現大數據平臺內跨引擎間的任務調度；

• 大數據統一監控管理用于完成對數據分析平臺的運維、監控等功能，并同時提供命令行和圖形兩種管理界面。

本項目通過MPP及Hadoop構建了融合平臺，累計部署上百個節點，實現了項目需求。

本項目的價值體現如下：

• 滿足客戶統一數據管理需求，提升業務上線速度

通過采用GBase UP融合大數據平臺，滿足了客戶對多模數據統一管理的需求，并且為上層應用提供了標準開發接口，提高了開發效率，提升了業務上線速度。

• 有效降低成本

整個系統平臺基于開放架構的軟硬件設備搭建，極大地降低了系統建設成本。

• 全國產化配置，保障系統安全

通管局項目數據保密性強，采用全國產化的技術組件，保障了用戶數據的安全可控。