今日,快手在2020年中國國際數碼互動娛樂展覽會(簡稱ChinaJoy)上,率先發布了基於5G網絡的雲端渲染技術。該技術以短視頻業務場景為依託,為用户提供了趣味性的體驗。本次快手提供了馴龍高手、二次元變身兩項展示。這兩項展示具備沉浸感強、體驗效果逼真的特點,受到了廣大參會者的追捧。
本次快手展示的雲端渲染技術,充分發揮5G高帶寬、低延遲的優勢,釋放雲端強大的計算能力,克服本地算力不足的缺點,達到雲端實時渲染、5G低延遲傳輸、本地即時展示的目的。
為了給用户提供好萊塢級別的視覺體驗,馴龍高手綜合應用多項自研技術,包含基於物理的實時渲染(Physically Based Rendering)、對真實世界的仿真物理模擬、基於體素的流體建模與渲染系統、大規模GPU粒子系統、YCNN推理引擎。多項先進技術和大量次時代資源的使用,導致本地設備無法提供足夠的算力與存儲空間。而5G技術的到來,使雲端模擬成為可能,解決了上述問題。百萬面同屏、真實光影效果、華麗的粒子特效、纖毫畢現的毛髮模擬、逼真的交互體驗、高精度的AI推理,畫面流暢細膩、特效精緻震撼,為短視頻特效行業樹立了標杆。
二次元變身是基於CycleGAN、UGATIT等框架而實現的,快手在實踐中對於算法魯棒性、模型效果、數據準備效率、時序穩定性等進行了優化和升級。服務端的全圖二次元技術,支持人像、背景、多人效果。通過端雲協同的技術方案,服務端運算的結果以直播下發的方式展示,為用户提供更清晰、質感的二次元轉換。
為了更好的適配5G網絡,快手音視頻部門自研了網絡傳輸協議和實時編解碼技術,採用快手自建的SDN網絡,通過基於UDP協議的高清視頻低延時通信技術,實現本地採集視頻雲端處理的實時回顯。把用户在手機上採集到的視頻實時發送到雲端,利用服務器強勁的硬件資源進行渲染,再把渲染結果實時發送到用户手機進行顯示。
快手雲端渲染系列技術,充分將移動終端與服務器的硬件能力相結合,實現較為複雜的運算,未來將充分挖掘5G網絡的應用價值,在視頻內容生產、直播、小遊戲等應用場景中將發揮重要作用。