據聯合影片專家組JVET官網顯示,位元組跳動AVG(先進影片團隊)今年2月發起一項影片壓縮的技術提案,該提案能夠在最佳化壓縮質量的同時,節約至少13%的儲存和頻寬。例如,一段180分鐘H.266/VVC標準的高畫質影片(1080P解析度),大約需要3GB的資料體積,應用新技術後只需要2.6GB。這是業界公開的單個智慧編碼工具的最佳效能增益。
位元組跳動AVG在美國加州建立研發團隊,成員有來自高通、微軟、英特爾等巨頭的資深研究員,也有出身海內外頂級院校的新生代。在此前JVET制定新一代國際影片編解碼標準H.266/VVC的過程中,位元組跳動AVG累計提交260+項技術提案,其中130+項被採納,被採納提案數和採納率均排在世界前列,是H.266/VVC核心演算法的主要貢獻者之一。
影片是由一張張圖片連線起來的動態影象序列,影片編解碼則是影片應用的底層核心技術,作用是對影象進行壓縮和數字編碼,以儘可能小的頻寬傳送高質量的影片資料。H.266/VVC能夠在不影響畫質的情況下,把影片位元速率降低到前一代標準H.265/HEVC的一半。本來只夠放標清影片的網速,也能流暢播放高畫質影片。
此次位元組跳動AVG提出的新演算法,旨在透過深度學習技術構建減少影片壓縮失真的濾波器(DAM),主幹是基於殘差單元堆疊的深度卷積網路,輔以自適應模型選擇以最大程度適應特性複雜的自然影片。所謂殘差單元是指透過引入跳層連線,允許網路把注意力放在變化的殘差上,這與影片影象幀之間的殘差有異曲同工之妙,比如武林高手決鬥,“劍光一閃”,每一幀影象絕大部分內容是相同的,閃動的劍光形成殘差,這也是影片編碼壓縮的重點關注物件。
實驗結果顯示,相比H.266/VVC最新標準,位元組跳動的DAM解決方案能夠為影片編碼效能帶來顯著提升,亮度訊號Y可實現10.28%的效能增益,兩個色度訊號U和V,效能增益也分別達到28.22%和27.97%,在影片質量有所最佳化的同時,至少還可縮小13%的資料體積。
圖:測試用例來自國際標準組織的測試影片
據悉,位元組跳動AVG已自主研發了BVC2.0編碼器,首次參加國際權威的MSU 2020影片編碼器大賽,就在四項評價指標上包攬第一。AVG的各項研究成果,也將透過BVC編碼器的升級換代投入應用,包括抖音、西瓜影片、今日頭條等 App的影片類內容處理,以及雲計算、雲遊戲等基礎架構領域,從而為使用者帶來更高畫質畫質、更流暢播放的影片體驗。
AVG除了深度參與國際影片標準制定外,也為國產新一代影片壓縮標準AVS3做出重要貢獻,包括塊劃分、運動向量編碼及預測、色-亮度幀內預測等多項原創性技術被AVS3影片標準所採納。位元組跳動因此獲得2019年度AVS產業技術創新之提案獎,是迄今唯一獲獎的網際網路企業。
位元組跳動AVG的張莉博士介紹說,影片壓縮標準作為服務商必須遵循的規範,不僅蘊含著難以估量的商業價值,也會為使用者帶來實實在在的便利。透過標準制定與產品研發,位元組跳動會持續創新並輸出技術能力,與行業一起為使用者提供更優質的影片服務。
作者:小智 責編:小智