楠木軒

Hadoop開源社區宣佈支持騰訊雲對象存儲COS

由 都超英 發佈於 科技

8月5日消息,知名大數據開源社區Hadoop近日宣佈對騰訊雲對象存儲COS的正式支持。後續,開發者在基於Hadoop架構進行大數據分析時,能夠在不修改代碼的情況下,無縫高效地使用騰訊雲COS來處理海量數據的讀寫任務。

大數據分析需要花費大量的計算和存儲資源。在傳統模式下,計算與存儲資源耦合度較高,一旦資源不夠,就需要對二者同時進行擴容。近年來,在雲計算的推動下,開發者逐漸開始採用雲上對象存儲,來實現計算與存儲的分離,進而提升資源的靈活性,並降低成本。

Hadoop是目前應用最為廣泛的分佈式大數據處理框架,也是大數據處理領域事實上的標準。在數據價值越來越被重視的時代,Hadoop也在互聯網、政務、金融等行業中被廣泛使用。

騰訊雲對象存儲COS是一種具備安全穩定、海量、便捷、低延遲、低成本等特點的雲端分佈式存儲服務,其底層採用騰訊自研存儲引擎YottaStore,能夠實現單集羣理論管理百萬級節點,並且做到真正的按需擴容,磁盤利用率達到 90% 以上。

Hadoop社區支持騰訊雲對象存儲以後,開發者在基於Hadoop架構進行大數據分析時,能夠無縫使用到騰訊雲對象存儲COS提供的高速雲存儲服務。

“開發者在騰訊雲上可以使用彈性 MapReduce(EMR)計算,並直接使用騰訊雲對象存儲COS作為後端存儲,整個過程都不需要額外添加代碼,更加方便和快捷。”騰訊雲對象存儲負責人介紹。

目前,小紅書、獵豹移動、珍愛網等就使用了騰訊雲“EMR on COS”的計算與存儲分離模式,快速構建和部署大數據分析程序,有效地滿足了大數據業務需求。