楠木軒

西部數據副總裁兼中國區業務總經理劉鋼:創新存儲架構突破IPFS算力瓶頸 西部數據的這些技術探索

由 高會雲 發佈於 科技

隨着疫情的平穩,2021年CITE也於上週五在中國創新之都深圳的國家會展中心,拉開了序幕。在歷經了罕見的全球化疫情侵擾後,數據的價值進一步被放大,在大數據的強大算力支持下,智慧醫療,AI配送,在線教育,雲監管等一系列,基於數據存儲的業務在疫情之下實現了爆發性的增長,也讓越來越多的從業者意識到數據的真正意義。

在此背景下,來自全球的各大數據存儲大廠集結深圳CITE,共同出席了深圳國際大數據與存儲峯會,並分享了它們對於大數據和存儲產業的行業發展和產業動態。作為數據基礎架構提供商的西部數據,此次也攜眾多合作伙伴共同出席此次峯會,同時,西部數據副總裁兼中國區業務總經理劉鋼先生,發表了《創新存儲架構突破IPFS算力瓶頸》的主題演講,引發行業熱議。

01 迭代存儲架構高效存儲數據撬動數字經濟新動能

劉鋼先生一上台,便以一組數據作為引子,與在場的觀眾分享了當下和未來大數據存儲的發展趨勢。

通過數據表格,可以發現幾個有趣的現象,在HDD方面,“在2024年的時候,以HDD為代表的大數據預計將增長到1.62ZB,那從現在開始到2024年,年化增長率在30%左右”,“而在SSD為代表的快數據方面,2024年快數據存儲預計將達到333EB,年化增長率幾乎接近50%”,這表明在絕對增長上,無論是大數據還是快數據,都有着相當的活力和潛力。

而每年產生如此多堪比石油、黃金的數據,又有多少被安全高效的存儲了呢?答案是大概1.5%,“因為在2024年產生的數據有143個ZB,大數據只存入了1.62個ZB,快數據333個EB(0.333ZB),所以加在一起也小於當年產生的數據的1.5%。”

那麼剩餘的超過98%的數據為何無法被安全高效存儲呢?原因在於存儲架構的老舊和存儲技術的落後,劉鋼先生表示,我們需要創新存儲架構,為更多海量的數據進行存儲、挖掘和分析,唯有如此,才能更好的利用數據,撬動數據經濟的新動能。

02 去中心化的IPFS架構降低存儲成本創新存儲架構

面對新興的存儲需求,存儲架構的迭代和創新也面臨的諸多的挑戰,劉鋼先生總結到,“創新存儲架構的挑戰總結來説就是用户既需要大容量、也需要快速訪問、又需要低成本、還需要低功耗。那麼有沒有一個存儲設備或者一種存儲介質能夠同時滿足這四個方面的需求?”

實際上,幾乎很難從存儲設備或存儲介質方面,找到能夠滿足這四個方面需求的完美解決方案。可當你從部分的存儲設備和介質中剝離開來,回到整體或系統化的進行存儲架構的創新時,就會發現這個棘手的問題,有了解決的可能。

其中,以去中心化為特點的IPFS存儲架構,相較於傳統的中心化思路的雲存儲服務商,能夠顯著的節省它們的服務提供成本,進而降低整體系統的存儲成本。

03 大數據存儲解決方案:企業級高密度的HDD

接下來,劉鋼從傳統大數據存儲和新興的快數據存儲兩個方面,為在場的行業同仁分享了西部數據進行的一些技術探索。

在分享技術探索之前,劉鋼也引入了一個新的概念和理解,他表示,“數據是有價值的,同時數據也是有分層的,我們把它簡單分成五層,有極熱數據、熱數據、温數據、冷數據和極冷數據。”

根據數據分層不同,數據延遲,應用場景和成本製造也有着明顯的區別,就以大數據存儲而言,基於其少量寫入、大量讀取、大量數據的應用特性,西部數據將其歸為極冷數據和冷數據類別,併為其提供了業界單碟最高2.2TB,總容量達20TB的UltrastarDC HC650,這是一款定位於極冷數據的SMRHDD,更低的TCO&Watt/TB,更小的體積,能夠極大的節省大數據存儲的採購和運維成本。

當然,對於HDD有着一定性能需求的數據中心,西部數據也提供了性能更強,存儲容量依舊誇張的UltrastarDCHC550,這款HDD,採用的是CMR架構,並通過三級磁臂設計,進一步提高硬盤性能,同時在容量方面,也達到了18TB,能夠滿足以IPFS為代表的眾多服務商的存儲需求。

無論是18TB還是20TB,西部數據提供的更大容量單盤HDD,能夠顯著的提升單位功耗,降低服務器基準成本以及服務器總體擁有成本,也被包括DropBox在內的雲服務商率先進行了驗證和適用。

04 快數據存儲解決方案:閃存優勢+縱向集成

至於在以SSD為核心,追求高性能計算的密集型工作負載,或是主流的讀寫均衡混合型的工作負載,西部數據依舊有一系列針對性解決方案。

無論是密集型或是均衡混合型,其背後都需要高性能SSD進行硬件支撐。而西部數據在SSD領域擁有着多年的研發經驗和深厚的技術積累。

首先是關於SSD中NAND閃存產量方面,SSD的成本核心在於NAND閃存,而西部數據作為全球領先的NAND原廠,和合作夥伴鎧俠一同佔據全球三分之一的原廠份額,同時西部數據擁有穩固的NAND產業領導力,以及固定的NAND技術投資承諾,使得它能夠在NAND閃存的製造和產能方面有着絕對話語權。

其次在閃存技術方面,劉鋼先生表示,“我們剛剛發佈了第6代3D閃存技術,162層的3D閃存技術,會進一步地縮小芯片的尺寸,降低成本、提高性能。它的程序性能可以提高兩倍以上,輸入輸出的IOPS提高約66%”,隨着第六代3D閃存的問世,西部數據將繼續保持在NAND領域的領導地位。

最後,更為關鍵的是縱向集成優勢,SSD作為一個高度集成化的產物,不僅需要各個組件的高質高性能,更需要有優秀和可靠校正和優化,進而發揮所有組件的潛能。而西部數據集成了完全自主的NAND顆粒,SSD主控器以及固件於一體,能夠輕鬆完成產品的校正和優化,進一步提升SSD產品的性能和穩定性。

因而,無論是針對讀寫均衡的混合工作負載還是密集型工作負載,西部數據都有能力匹配和提供相應的SSD,以滿足客户需求。

05 IPFS存儲創新解決方案以及合作伙伴的解讀

如果將上述的存儲技術和存儲架構應用到IPFS領域,又能產生哪些新應用呢?劉鋼,“目前IPFS服務商的存儲痛點,主要有數據吞吐量低、空間利用率低、難擴容、總體擁有成本高、運維低效以及故障懲罰高等,但是通過西部數據提供的一系列存儲新架構和存儲新產品,能夠針對性解決上述諸多問題。”

劉鋼再次分享和推薦了,和西部數據共同建展的諸多IPFS合作伙伴,並通過它們的案例為在場從業者,提供了相應的IPFS的存儲解決思路。

首先是西部數據、星辰天合、浪潮聯合推出的IPFS解決方案,通過部署西部數據UltrastarDC HC550 18TB硬盤,顯著提高了的存儲容量,同時降低集羣的節點數量,節省能耗、機櫃空間等相應成本;

其次則是西部數據與杉巖數據攜手賦能IPFS存儲,西部數據與杉巖數據聯合推出了融合了杉巖MOS海量對象存儲系,UltrastarDC SN840/640、UltrastarDC HC550和JBOD存儲平台的IPFS解決方案。通過構建高性能、大容量、低成本、簡運維的存儲方案,極大的降低IPFS業務的總體擁有成本,全面提升經濟效益。

最後,西部數據還攜手長城超雲打造了IPFS“新範式”,以及牽手靈動公司,提供西部數據的存儲解決方案,進一步提升用户效應。

“所以總結來講,針對Web3.0或者IPFS的基礎設施架構,針對它的存儲集羣,我們有高密度的磁盤擴展櫃、大容量的18T硬盤,還有UltrastarDC SN640 NVMe SSD來作為緩存。

針對它的計算集羣,我們有UltrastarDC SN640 NVMe SSD,還有UltrastarDC SN840 NVMe SSD寫密集型的SSD。”

劉鋼在整個主題演講的末尾做了總結,西部數據能為廣大的用户羣體提供的各種不同需求的存儲解決方案。同時,西部數據也能夠就IPFS的計算和存儲優化,進行更多的技術合作,共同推動未來數據存儲架構的激活和發展。

(7663103)