本文轉自【TechWeb】；
剛剛獲悉，由騰訊雲大資料團隊主導的Ozone 1.0.0版本在Apache Hadoop社群正式釋出。據瞭解，經過2年多的社群持續開發和內部1000+節點的實際落地驗證，Ozone 1.0.0已經具備了在大規模生產環境下實際部署的能力。
Ozone 是Apache Hadoop社群推出的新一代分散式儲存系統，它的出現滿足了大量小檔案的儲存問題，解決了Hadoop分散式檔案系統在可擴充套件性上的缺陷。作為Hadoop生態圈的一款新的物件儲存系統，能夠支援百億甚至千億級檔案規模的儲存。
騰訊雲大資料團隊Ozone專案負責人陳怡表示，作為大資料領域的領導廠商，騰訊是國內一線網際網路公司中最早加入社群的，目前已經在Ozone專案上已經主導完成了叢集網路拓撲感知的開發，以及資料寫入Multi-Raft Pipeline功能的開發。同時，主導的StorageContainerManager(SCM) 高可用HA功能也正在開發中。
以叢集網路拓撲感知來說，在傳統的大資料構架下，有了網路拓撲結構，計算引擎的排程器可以將任務排程到離資料最近的節點來獲取“資料的區域性性”。即便是新興的計算儲存分離構架，同樣也需要叢集網路拓撲資訊，來保證資料的故障容錯能力和高可用性。
陳怡進一步介紹說，在Ozone 的Alpha 釋出後，騰訊內部的大資料平臺上線了Ozone生產叢集，承接了一部分業務的資料儲存。隨著資料服務體量的增加，逐漸發現Ozone寫入效能顯現出了一定的波動和瓶頸。基於這個發現，騰訊Ozone專案組設計並開發了資料寫入Multi-Raft Pipeline功能，顯著的提升了Ozone的寫入吞吐量和效能。
此外，為了測試Ozone整體的穩定性和效能，作為部署應用的先鋒小隊，騰訊內部部署了一個1000個數據節點的叢集。進行了長達幾個月的穩定性和壓力測試。期間團隊遇到並解決了各種OOM、節點Crash、效能低於預期等問題。經過全面的最佳化之後，單叢集1000個節點現已能長時間穩定執行，並且所有的資料都校驗確認正確無誤。
除了1000個節點叢集的測試，1.0.0版本還進行10億個元資料物件的測試和最佳化，進一步解決長期困擾HDFS的大量小檔案問題。目前Ozone 1.0.0能夠輕鬆支援10億個10KB小物件的寫入，同時元資料節點記憶體使用不超過64GB。
為了確保Ozone和Hive、Spark、Impala等計算框架的無縫對接，Ozone 1.0.0進行了和Hive LLAP、Spark以及Impala的整合測試。TPC-DS的測試表明，在100GB和1TB兩種資料量大小下，Ozone總體比HDFS有3.5%的優勢。
經過不斷的測試和最佳化，升級後的Ozone 1.0.0在版本功能上有了質的跨越。除了支援 Hadoop Compatible FileSystem、Hadoop 2.x以及 Hadoop3.x環境，Ozone 1.0.0還相容Hadoop生態的Kerberos認證體系，支援資料的使用者無感知加密存放和Ranger授權整合、GDPR “Right to Erasure”以及網路構架感知。
未來，騰訊雲大資料還將發揮自身技術優勢和積累，在Ozone的基礎上開發基於SCM的新一代高效能分散式檔案系統，並持續推進Ozone在更多騰訊內外部業務的實踐落地，部署更大規模的生產叢集。同時，進一步擁抱開源，深度參與Hadoop社群，提高Ozone的可靠性、穩定性和效能，將其打造成新一代大資料檔案和物件混合儲存系統。
值得一提的是，騰訊大資料團隊除了在Ozone 專案上的貢獻之外，近年來在開源領域的貢獻正在逐步加速，目前已完成了大資料核心能力全開源。同時，還結合實際業務場景推動開源技術加速落地，透過技術實踐和創新持續回饋社群貢獻開源。在Apache基金會的大資料專案上，騰訊已經為主流的Hadoop、Spark、Flink等專案貢獻了大量的特性和patch。