西部資料副總裁兼中國區業務總經理劉鋼:創新儲存架構突破IPFS算力瓶頸 西部資料的這些技術探索

隨著疫情的平穩,2021年CITE也於上週五在中國創新之都深圳的國家會展中心,拉開了序幕。在歷經了罕見的全球化疫情侵擾後,資料的價值進一步被放大,在大資料的強大算力支援下,智慧醫療,AI配送,線上教育,雲監管等一系列,基於資料儲存的業務在疫情之下實現了爆發性的增長,也讓越來越多的從業者意識到資料的真正意義。

在此背景下,來自全球的各大資料儲存大廠集結深圳CITE,共同出席了深圳國際大資料與儲存峰會,並分享了它們對於大資料和儲存產業的行業發展和產業動態。作為資料基礎架構提供商的西部資料,此次也攜眾多合作伙伴共同出席此次峰會,同時,西部資料副總裁兼中國區業務總經理劉鋼先生,發表了《創新儲存架構突破IPFS算力瓶頸》的主題演講,引發行業熱議。

西部資料副總裁兼中國區業務總經理劉鋼:創新儲存架構突破IPFS算力瓶頸 西部資料的這些技術探索

01 迭代儲存架構高效儲存資料撬動數字經濟新動能

劉鋼先生一上臺,便以一組資料作為引子,與在場的觀眾分享了當下和未來大資料儲存的發展趨勢。

透過資料表格,可以發現幾個有趣的現象,在HDD方面,“在2024年的時候,以HDD為代表的大資料預計將增長到1.62ZB,那從現在開始到2024年,年化增長率在30%左右”,“而在SSD為代表的快資料方面,2024年快資料儲存預計將達到333EB,年化增長率幾乎接近50%”,這表明在絕對增長上,無論是大資料還是快資料,都有著相當的活力和潛力。

西部資料副總裁兼中國區業務總經理劉鋼:創新儲存架構突破IPFS算力瓶頸 西部資料的這些技術探索

而每年產生如此多堪比石油、黃金的資料,又有多少被安全高效的儲存了呢?答案是大概1.5%,“因為在2024年產生的資料有143個ZB,大資料只存入了1.62個ZB,快資料333個EB(0.333ZB),所以加在一起也小於當年產生的資料的1.5%。”

那麼剩餘的超過98%的資料為何無法被安全高效儲存呢?原因在於儲存架構的老舊和儲存技術的落後,劉鋼先生表示,我們需要創新儲存架構,為更多海量的資料進行儲存、挖掘和分析,唯有如此,才能更好的利用資料,撬動資料經濟的新動能。

02 去中心化的IPFS架構降低儲存成本創新儲存架構

面對新興的儲存需求,儲存架構的迭代和創新也面臨的諸多的挑戰,劉鋼先生總結到,“創新儲存架構的挑戰總結來說就是使用者既需要大容量、也需要快速訪問、又需要低成本、還需要低功耗。那麼有沒有一個儲存裝置或者一種儲存介質能夠同時滿足這四個方面的需求?”

實際上,幾乎很難從儲存裝置或儲存介質方面,找到能夠滿足這四個方面需求的完美解決方案。可當你從部分的儲存裝置和介質中剝離開來,回到整體或系統化的進行儲存架構的創新時,就會發現這個棘手的問題,有了解決的可能。

其中,以去中心化為特點的IPFS儲存架構,相較於傳統的中心化思路的雲端儲存服務商,能夠顯著的節省它們的服務提供成本,進而降低整體系統的儲存成本。

03 大資料儲存解決方案:企業級高密度的HDD

接下來,劉鋼從傳統大資料儲存和新興的快資料儲存兩個方面,為在場的行業同仁分享了西部資料進行的一些技術探索。

在分享技術探索之前,劉鋼也引入了一個新的概念和理解,他表示,“資料是有價值的,同時資料也是有分層的,我們把它簡單分成五層,有極熱資料、熱資料、溫資料、冷資料和極冷資料。”

根據資料分層不同,資料延遲,應用場景和成本製造也有著明顯的區別,就以大資料儲存而言,基於其少量寫入、大量讀取、大量資料的應用特性,西部資料將其歸為極冷資料和冷資料類別,併為其提供了業界單碟最高2.2TB,總容量達20TB的UltrastarDC HC650,這是一款定位於極冷資料的SMRHDD,更低的TCO&Watt/TB,更小的體積,能夠極大的節省大資料儲存的採購和運維成本。

當然,對於HDD有著一定效能需求的資料中心,西部資料也提供了效能更強,儲存容量依舊誇張的UltrastarDCHC550,這款HDD,採用的是CMR架構,並透過三級磁臂設計,進一步提高硬碟效能,同時在容量方面,也達到了18TB,能夠滿足以IPFS為代表的眾多服務商的儲存需求。

無論是18TB還是20TB,西部資料提供的更大容量單盤HDD,能夠顯著的提升單位功耗,降低伺服器基準成本以及伺服器總體擁有成本,也被包括DropBox在內的雲服務商率先進行了驗證和適用。

西部資料副總裁兼中國區業務總經理劉鋼:創新儲存架構突破IPFS算力瓶頸 西部資料的這些技術探索

04 快資料儲存解決方案:快閃記憶體優勢+縱向整合

至於在以SSD為核心,追求高效能計算的密集型工作負載,或是主流的讀寫均衡混合型的工作負載,西部資料依舊有一系列針對性解決方案。

無論是密集型或是均衡混合型,其背後都需要高效能SSD進行硬體支撐。而西部資料在SSD領域擁有著多年的研發經驗和深厚的技術積累。

首先是關於SSD中NAND快閃記憶體產量方面,SSD的成本核心在於NAND快閃記憶體,而西部資料作為全球領先的NAND原廠,和合作夥伴鎧俠一同佔據全球三分之一的原廠份額,同時西部資料擁有穩固的NAND產業領導力,以及固定的NAND技術投資承諾,使得它能夠在NAND快閃記憶體的製造和產能方面有著絕對話語權。

其次在快閃記憶體技術方面,劉鋼先生表示,“我們剛剛釋出了第6代3D快閃記憶體技術,162層的3D快閃記憶體技術,會進一步地縮小晶片的尺寸,降低成本、提高效能。它的程式效能可以提高兩倍以上,輸入輸出的IOPS提高約66%”,隨著第六代3D快閃記憶體的問世,西部資料將繼續保持在NAND領域的領導地位。

最後,更為關鍵的是縱向整合優勢,SSD作為一個高度整合化的產物,不僅需要各個元件的高質高效能,更需要有優秀和可靠校正和最佳化,進而發揮所有元件的潛能。而西部資料集成了完全自主的NAND顆粒,SSD主控器以及韌體於一體,能夠輕鬆完成產品的校正和最佳化,進一步提升SSD產品的效能和穩定性。

因而,無論是針對讀寫均衡的混合工作負載還是密集型工作負載,西部資料都有能力匹配和提供相應的SSD,以滿足客戶需求。

05 IPFS儲存創新解決方案以及合作伙伴的解讀

如果將上述的儲存技術和儲存架構應用到IPFS領域,又能產生哪些新應用呢?劉鋼,“目前IPFS服務商的儲存痛點,主要有資料吞吐量低、空間利用率低、難擴容、總體擁有成本高、運維低效以及故障懲罰高等,但是透過西部資料提供的一系列儲存新架構和儲存新產品,能夠針對性解決上述諸多問題。”

劉鋼再次分享和推薦了,和西部資料共同建展的諸多IPFS合作伙伴,並透過它們的案例為在場從業者,提供了相應的IPFS的儲存解決思路。

首先是西部資料、星辰天合、浪潮聯合推出的IPFS解決方案,透過部署西部資料UltrastarDC HC550 18TB硬碟,顯著提高了的儲存容量,同時降低叢集的節點數量,節省能耗、機櫃空間等相應成本;

其次則是西部資料與杉巖資料攜手賦能IPFS儲存,西部資料與杉巖資料聯合推出了融合了杉巖MOS海量物件儲存系,UltrastarDC SN840/640、UltrastarDC HC550和JBOD儲存平臺的IPFS解決方案。透過構建高效能、大容量、低成本、簡運維的儲存方案,極大的降低IPFS業務的總體擁有成本,全面提升經濟效益。

最後,西部資料還攜手長城超雲打造了IPFS“新正規化”,以及牽手靈動公司,提供西部資料的儲存解決方案,進一步提升使用者效應。

“所以總結來講,針對Web3.0或者IPFS的基礎設施架構,針對它的儲存叢集,我們有高密度的磁碟擴充套件櫃、大容量的18T硬碟,還有UltrastarDC SN640 NVMe SSD來作為快取。

針對它的計算叢集,我們有UltrastarDC SN640 NVMe SSD,還有UltrastarDC SN840 NVMe SSD寫密集型的SSD。”

劉鋼在整個主題演講的末尾做了總結,西部資料能為廣大的使用者群體提供的各種不同需求的儲存解決方案。同時,西部資料也能夠就IPFS的計算和儲存最佳化,進行更多的技術合作,共同推動未來資料儲存架構的啟用和發展。

(7663103)

版權宣告:本文源自 網路, 於,由 楠木軒 整理釋出,共 3156 字。

轉載請註明: 西部資料副總裁兼中國區業務總經理劉鋼:創新儲存架構突破IPFS算力瓶頸 西部資料的這些技術探索 - 楠木軒