楠木軒

高通Cloud AI 100、AMD EPYC™ 7003系列處理器和技嘉服務器解決方案 共同推動AI推理突破每秒千萬億次運算

由 宿秀榮 發佈於 科技

AI無疑已經成為推動下一代用户體驗的驅動力。無論是快速瀏覽喜愛的社交應用,還是基於數萬次AI推理提供的在線購物推薦,幾乎每一項移動終端體驗都與AI密不可分。目前,這些平台每天承載着數百萬的用户量,這又意味着什麼呢?它們需要海量性能出眾的高密度服務器,來提供滿足上述平台持續運行所需的AI推理性能。

目前,通過與AMD最新的EPYC™ 7003系列處理器和技嘉科技的最新G292-Z43服務器解決方案相配合,高通技術公司正助力性能出眾的機架式服務器滿足高性能需求。上述企業在硬件技術專長領域的結合,帶來了頂級性能併為現代化數據中心樹立全新標杆。高通技術公司尖端的Cloud AI 100能夠與技嘉服務器系統完美適配,這將推動眾多出色的AI用例在高速數據分析、個性化推薦、智慧城市和5G通信等領域的普及。

技嘉G292-Z43服務器將支持兩台AMD EPYC™ 7003系列處理器用於處理負載,以及多個高通Cloud AI 100 PCI-E卡用於支持需要密集計算的應用來支持AI推理。高通Cloud AI 100推理加速器支持高達400 TOPS的算力,還擁有突破性的性能功耗比,並且僅通過單個高通Cloud AI 100 PCI-E卡即可實現。試想一下,如果每台技嘉服務器最多可搭載16個高通Cloud AI 100 PCI-E推理卡,即可提供高達每秒6.4千萬億次運算(400 TOPS x 16,1 POPS等於1000 TOPS)。這是首次基於高通技術公司AI技術的解決方案突破每秒千萬億次運算(POPS)大關。更值得注意的是,每個服務器機櫃可管理超過19個上述服務器單元,從而輕鬆實現超過100 POPS的算力,這充分體現了高通技術公司在AI領域的強勁實力。欲瞭解相關參數,請參考以下信息圖。

更具體來看,單個算力為400 TOPS的HHHL(半高,半長)高通Cloud AI 100 PCI-E推理卡每秒可以支持19,000張圖像進行Resnet50模型分類推理,相當於一台服務器機櫃每秒可處理超過600萬張圖像。如此強大的AI性能有望在全球市場增強並規模化擴展AI體驗。我們衷心感謝AMD和技嘉科技為實現這一驚人成就所付出的努力。

高通Cloud AI 100 PCI-E卡和搭載AMD EPYC™ 7003系列處理器的技嘉服務器即將面市,請參考文末產品圖獲取更多信息。

雷鋒網雷鋒網