杭州交通管理指揮平臺二期項目——低成本數據倉庫支撐海量數據
價值體現
l 海量數據存儲：支撐PB級數據的存儲和處理，實現條塊融合和跨警種信息資源的歸并整合，為上層應用和數據挖掘提供基礎支撐；
l 高性能：克服傳統的關系型數據庫高成本、運算時間長、分析結果及業務報表滯后等劣勢，將大數據量業務數據處理的性能提升10倍；
l 輔助科學決策：為科學決策提供了客觀依據，確保動態信息及時掌握；
l 低成本、高擴展：最高1:20的壓縮存儲，硬件為X86 PC Server，有效節省硬件投入成本；架構為Shared Nothing扁平架構，線性在線擴展，解決傳統數據庫技術架構無法擴展問題。
解決方案
物理層采用X86 PC Server，軟件層采用GBase 8a MPP Cluster 構建交通管理指揮大數據平臺，整個集群分為6集群節點+1臺加載節點。每個2個節點組成一個SafeGroup，共3個SafeGroup。
杭州交管局需要將2010年之后所有主要的業務數據，包括警情、情報、違法、卡口過車記錄、浮動車、微波、SCATS（信號機）、路段狀態、動態地圖坐標等數據以及在此基礎上產生的衍生數據進行匯總和分析。
對于后續的的數據，通過數據庫鏈接或ETL工具從其他系統中將數據加載入GBase 8a MPP Cluster，ETL作業數量最多同時可達數十個，以時間調度為主。
需求分析
l 數據來源多樣性：需要從杭州交管現有的十幾個系統中抽取加載數據，數據異構化嚴重；
l 統一性：由于現有的以Oracle為基礎構建的交易型數據庫性能的限制，許多分析無法做成。另外，數據條塊分割，信息關聯共享程度不高，缺乏深度挖掘分析。需要建設支撐海量數據、統一管理、統一調度的數據倉庫平臺；
l 兼容性：需要在已建成的業務操作環境下，提供大數據技術下的智能化輔助決策和分析功能，支撐復雜分析計算，滿足數據分析型應用的需求；
l 前瞻性：適應未來五年大數據平臺規劃，具備不斷擴容的能力。
項目背景
隨著杭州交通的發展，機動車數量迅猛增長，交通流量持續攀升。同時與此相關的警情、車流量、路網狀態、違法記錄、通行記錄等交通信息也快速增長，與交警業務相關的數據越來越多，數據總量巨大。如何高效的分析這些數據，挖掘出數據背后隱藏的價值，從而提高交通設施利用率，提升交通管理水平，改善交通安全成為了亟待解決的問題。