華為雲GaussDB(DWS)實時數倉:實時資料與歷史資料關聯分析
本文轉自【消費日報網】;
隨著網際網路和物聯網的快速發展,實時資料分析應用的業務需求量日益增長,例如實時推薦、實時風控、實時監測、精準營銷等,資料實時處理能力成為企業提升競爭力的一大因素。華為雲GaussDB(DWS)實時數倉提供即開即用、可擴充套件且完全託管的分析型資料倉庫服務,支撐高併發高效能實時資料分析。4月8日,在華為雲TechWave全球技術峰會資料使能分論壇上,GaussDB(DWS)技術專家詳談實時數倉黑科技。
GaussDB(DWS) 實時資料分析技術架構基於企業級核心,採用統一SQL引擎,多引擎協同,實現資料體系內自閉環,從而達到一份資料多個引擎呼叫,高效多維度分析。依據流資料和時序資料特徵打造出從最佳化器、執行器到儲存的全系列、高效能、可擴充套件的實時數倉,提供四大技術創新:
1. CEP引擎告別T+1模式
改變傳統資料先入庫再查詢的分析模式,CEP引擎提供流計算能力:資料先計算分析,並實時反饋計算結果,計算結果可以繼續進行下一步計算或者儲存,大大降低了資料處理時延。
2. 1 = N:GaussDB(DWS) 實時數倉= Flink/Spark Streaming + Druid + InfluxDB……
國內首創在同一套系統內實現流和時序資料的處理和預聚合操作,減少資料跨系統間遷移,降低冗餘儲存和載入時間,最大化的利用系統快取,提高處理效率。
3. 預置豐富時序、流處理函式,一切皆SQL
採用最簡潔高效的資料開發語言SQL,並預置豐富的時序和流處理函式,透過SQL即可完成複雜流式計算,可實現億級資料,秒級聚合,極大簡化應用開發。
4. 高達40:1的壓縮比,極大節約儲存成本
透過自適應壓縮演算法,充分利用行列混合儲存+時序資料專用壓縮演算法優勢,實現低時延查詢和高效儲存。
技術專家還分享了實時智慧監控平臺的實踐,傳統資料倉庫單節點入口效能和雜湊度存在瓶頸,GaussDB(DWS)實時數倉單節點入庫效能超過10w/s,支援千萬級雜湊度計算,徹底解決時序資料和流資料“裝不進”和“算不動”的問題。
目前GaussDB(DWS)實時數倉已經正式釋出公測。華為雲GaussDB(DWS)實時數倉仍將不斷迭代最佳化,為企業使用者提供更強大的實時資料分析能力。