2020年,我國提出新基建政策,推動各行各業加速數字化轉型,也使得數據量有了高速的增長,這對於存儲行業來講,帶來巨大挑戰的同時,也迎來了機遇。
眾所周知,傳統存儲通過增加容量,達到一定數據量後性能與容量成反比,無法解決飛速增長的非結構數據存儲管理問題。目前最適合的解決方案之一就是分佈式存儲技術。
近幾年時間,分佈式存儲正在迎來發展的最好時機,越來越多企業也在佈局該領域。
其中,NVIDIA一直致力於下一代數據中心平台,同時擁有領先的計算專業知識與高性能的網絡技術,可優化整體計算、網絡和存儲等數據中心級工作負載,助力客户實現更高的性能,更高的計算資源利用率和更低的運營成本。
這一次比特網邀請到NVIDIA網絡事業部以太網產品總監王棟和點存科技CEO李浩天,與他們聊一聊現在技術如何賦能企業在新存儲形勢下的發展,以及兩家企業的合作。
點存科技聯手NVIDIA
隨着計算模型和軟件的發展變化,不少企業發現計算模型即將發生一個重大的變革,這也意味着分佈式時代的到來。對於這一片藍海市場,擁有巨大的發展潛力,其中點存科技是非常具有代表性的企業。
點存科技憑藉自身大量的存儲和計算資源,利用分佈式網絡,構建了一個全新的分佈式雲平台DC-Cloud。在平台上,用户可以選擇存儲託管自己的文件。在網絡中,所有的文件將被採用默克爾DAG格式進行存儲,保證隱私性和安全性。
利用邊緣容器,點存科技將一整套環境打包封裝成鏡像,其中包含了存儲、帶寬、CPU、GPU、IP等資源,用户無需重複配置環境,解決環境帶來的種種問題。
隨着近年來GPU硬件算力和訓練方法上均取得了重大進步,但在單一機器上,大型網絡訓練所需要的時間仍然長得不切實際,在接觸客户的過程中,我們發現政企機構對GPU等算力資源的需求呈現短期性和集中性的特點。
隨着需求的不斷增加,在產品開發過程中,點存科技通過市場對比,最終選擇行業頂級的英偉達作為合作伙伴。
對與點存科技的合作,王棟表示:“NVIDIA網絡事業部和點存科技的合作,因為雙方對新一代的產品和技術有迫切的要求,希望能夠構造出新的產品和服務滿足用户的要求。”
NVIDIA結合多年來的實踐經驗,推薦點存科技的數據中心採用基於NVIDIA的SN系列白盒以太網交換機構造的三層五級CLOS架構,IPFabric形式組網,並使用基於E-VxLAN提供的業務層服務。該方案採用了現代數據中心的典型架構,在規劃和部署上應用了大量的基於最佳實踐的優化技術。
李浩天表示:“點存科技對規模的計算和傳輸有非常高的要求,目前在行業內只有NVIDIA的產品能夠滿足我們的需求,接下來點存科技將會在大規模的計算中心和先進的網絡架構上和NVIDIA有更多的合作,並和NVIDIA一起探索符合未來業務需求的產品。”
未來NVIDIA與點存科技的合作主要將會圍繞着分佈式存儲和分佈式GPU兩個方向。
NVIDIA的技術賦能
在雲服務的實踐裏,作為點存這樣的公司,他們在建設基礎設施時與大的互聯網公司有近似之處,也有它自己獨特之處。因此,它的規模可能不如大型互聯網公司那麼龐大,有它自己獨特的考慮。
王棟表示:“雙方對技術也有很多的斟酌,最後決定採用現代數據中心的典型架構,在規劃和部署上應用了大量的基於最佳實踐的優化技術。”
此基礎設施是基於NVIDIA網絡產品事業部Spectrum交換芯片,這也是和一些常見的實踐有所差別。這個交換芯片是NVIDIA自研的產品,它也具有非常高的轉發性能,同時有非常獨到的特性,能夠幫助用户進行自動化組網,另外,它有非常精確和細粒度的遙測功能,減輕運維的壓力,最終提升整個網絡的可靠性。
對於NVIDIA來説,他們一直在推動新技術實踐並幫助用户從傳統企業轉型,在新的體系中允許用户無論是在硬件底層還是傳統的操作系統,甚至於上層的Overlay的技術選擇,以及Fabric構造技術的選擇,都可以佔據一個主導地位,而不是被一個廠家的專有技術所阻礙。
一直以來,NVIDIA在開源生態以及底層對開源支持上投入是非常大的,作為點存科技的用户來説,他們可以靈活地選擇閉源產品和開源產品,這也是NVIDIA在全球其他用户的選擇。在一些用户能掌控的層面使用開源的SONiC生態,在需要可靠性、支持的層面選擇NVIDIA收費的Cumulus網絡產品。
在基礎設施應用層面之外,NVIDIA也會有更多新的創新,從而增加自己的競爭力,其中DPU對應用層面進行加速,應用層面包括了裸金屬雲,存儲的解耦,分佈式安全等。
王棟表示:“NVIDIA在管道的數據鏈方面希望能夠給用户提供更多的靈活性,支持用户改善端到端應用的性能。現在看來,管道性能的提升相對比較困難而且比較緩慢的,應用端到端性能的提升相對比較容易,而且相對比較大的。”
寫在最後
對於未來NVIDIA與點存科技的合作,李浩天表示:“未來與NVIDIA的合作將會有兩個方向的重點,第一是分佈式存儲方向,基於NVIDIA GPU硬件特性,點存科技可以打造超高性能的NVMe的分佈式存儲平台;第二是分佈式GPU雲方向,基於NVIDIA的產品,打造分佈式大規模的計算中心
從萬物互聯到萬物智聯,無處不在的連接讓指數級增長的數據有了可供分析的價值,而作為傳輸數據的管道,網絡傳輸層的智能化、高性能、高可靠、高彈性逐漸成為各大廠商關注的焦點。而NVIDIA的產品與技術也致力於讓更多用户在面對數據時更加從容。