經濟日報-中國經濟網8月3日訊近日，中國聯通基於華為OceanStor存儲Pacific系列的大數據平台正式上線，標誌着中國聯通和華為技術有限公司在大數據計算存儲分離架構的規模化技術創新方面取得了全面突破。
數據中台建設對數據基礎設施提出了新挑戰
據悉，中國聯通已經構建了全球電信行業技術和規模雙領先的集中一體化大數據平台，當前正在推進數據中台戰略，實現全域數據共享，跨源跨域融合分析，快速釋放數據價值。而這也意味着，數據中台建設對於數據基礎設施提出了新的挑戰。
首次，需要能夠靈活調度的數據基礎設施，計算、存儲資源分別池化，統一的存儲底座，和多樣的計算引擎，能夠基於業務需求快速調度，支持業務快速創新；
其次，更低的存儲成本，5G時代，運營商數據量預計將增長5倍以上，在當前提速降費的大環境下，需要更高效的利用存儲資源，節省CAPEX和OPEX投資；
另外，數據共享，數據內容越來越多樣化，為了避免數據孤島，支撐BOME四域數據融合分析，非結構化和結構化數據統一存儲已成為數據基礎設施的新標準；
最後，數據可靠性，數據分析能夠支撐企業提升用户體驗，找到新的商業機會，正在從邊緣業務走向核心系統，作為其基礎設施，需能夠容忍多節點同時故障，支持亞健康檢測、故障快速修復，有效拉長維護週期。保證系統高可用的前提下，降低海量數據的維護複雜度。
華為大數據存算分離方案五大創新點
2019年3月，中國聯通集團信息化部數據中心與華為公司成立聯合工作組，共同推進大數據系統集約化建設和國產化技術創新。
基於大數據存算分離技術的運營支撐平台整體架構
華為大數據存算分離方案創新性的在存儲層實現了原生的HDFS的語義，打破了傳統大數據平台計算存儲緊耦合的部署架構，不僅實現大數據平台建設成本的大幅降低，而且通過存儲層全分佈式架構和協議融合互通的能力，提升數據分析效率，完全滿足中國聯通對於大數據平台的期望和要求。據介紹，華為大數據存算分離方案擁有五大創新點。
其一，計算存儲分離，按需擴展
在存儲層構建了原生HDFS能力，將存儲從服務器本地盤剝離，形成計算和存儲完全分離的方案，既滿足業務彈性擴展需求，又避免資源浪費，為統一的大數據分析平台打下技術基礎。
其二，大比例EC算法，提高存儲資源利用率
在大數據存算分離方案中，採用存儲層成熟的EC技術，替代Hadoop的多副本，存儲資源利用率提升到91.6%，同樣的數據量，機櫃數下降45%，大幅節省了運維成本。
其三，全分佈式NameNode，海量數據統一管理
採用存儲層提供的全分佈式的NameNode架構，每個節點既是數據存儲節點，也是元數據管理節點，單個NameSpace能夠支撐百億文件的存儲，為大數據平台提供堅實的數據存儲底座，很好的支撐了集團的數據中台戰略。
其四，原生HDFS，新老共存，保護投資
在大數據存儲層構建了HDFS的納管功能——元數據網關，通過納管現網已經部署的HDFS，實現了應用層數據訪問的統一入口，且支持優先寫入存儲層HDFS、基於配置選擇寫入HDFS、負載均衡寫入HDFS等多種寫入策略，真正做到了業務無感知的平滑演進。
其五，企業級存儲數據保護技術，提升可靠性
在存儲層，採用多故障域技術，每個故障域都允許4個節點同時故障，上百個存儲節點集羣，即能夠容忍12個節點同時故障，極大的延長了維護週期。當出現硬盤或節點故障時，存儲層提供遠高於傳統Hadoop的數據重構速度，將故障修復時間從天級縮減至小時級，進一步加強數據層的可靠性。
由於是新技術，中國聯通聯合華為制定了非常全面的測試計劃，同時搭建了存算一體和存算分離兩套測試環境，採用現網脱敏的真實業務數據，通過鏡像對比，從功能、性能、可靠性、可擴展性等多個維度，論證方案的可行性和價值。經過數個月的聯合測試，測試結果得到中國聯通集團信息化部數據中心的認可，最終促成中國聯通對於華為OceanStor存儲Pacific系列的規模化採購。
目前，基於存算分離技術建設的運營支撐平台已正式上線，已經承載了互聯網分析、IoT、日誌等系統15PB的數據量，實現了聯通各省公司2/3/4/5GxDR、網絡信令、互聯網日誌、IoT等數據的接入分析，日導入數據量超過70TB。
與此同時，存算分離方案給中國聯通也帶來顯著價值。譬如，可大幅降低採購和運維成本，提升運營效率和可靠性。據介紹，該項目投入運營後，分析效率提升20%，每年將帶來千萬以上的收入增長。此外，存儲層通過多故障域、快速重構、亞健康檢測等技術，可靠性將提升30倍以上。
展望未來，華為將持續為中國聯通數據基礎設施創新注入動力，結合華為OceanStor存儲Pacific系列的多協議融合互通的能力和開放的數據分析生態，實現BOM多域的數據融合，突破生產系統和分析系統之間的壁壘，建設統一的數據存儲底座，降低數據的存儲成本，加速數據流動；在無狀態的計算基礎上，引入更加多樣的計算引擎，如BI、深度學習、圖計算、時空分析等新興引擎，快速推陳出新，支撐應用系統快速創新。通過持續創新，共同打造存得下、流得動、管得好的數據基礎設施，釋放海量數據的價值。