Facebook研製神經超採樣技術 用以抗衡DLSS

SIGGRAPH 2020大會即將召開，Facebook研究人員今天發表了一篇文章，介紹了“神經超採樣”（neural supersampling）技術，這是一種根據人工智能機器學習為基礎的提高圖像清晰度的算法技術，跟NVIDIA的DLSS“深度學習超採樣”技術差不太多。不過，這個神經超採樣並不需要專門的硬件或者軟件就能實現，而且結果還不錯，基本可以媲美DLSS的效果。

“和我們的研究比較接近的，Nvidia最近發佈了深度學習超採樣（DLSS），可以將低分辨率圖片通過神經網絡進行實時處理，放大采樣。

在本文中，我們將介紹一種新方法，讓現代遊戲引擎容易整合，不需要特殊硬件或軟件，可應用於許多現有的軟件平台、加速硬件和顯示器。

我們觀察到，對於神經超採樣來説，由運動向量提供的額外的輔助信息起到了關鍵作用。運動向量決定了連續幀內像素之間的幾何學對應。換句話説，每個運動向量都指向了亞像素地點，在這些像素上，一個可見表面點可能會出現在上一幀的鄰近位置。這些值通常由計算機視覺方法進行估算，但這樣的光學流動模擬算法容易出錯。對比之下，渲染引擎可以直接製作密集的運動向量，從而得到可靠的、豐富的輸入信息，提供給神經超採樣，應用於渲染畫面內容。

我們的方法就是基於以上觀察，結合了額外的輔助信息，使用創新的時空神經網絡設計，將圖片和視頻品質最大化，同時提供實時運算性能。”

在文章中，Facebook提到了神經超採樣技術可能會應用於AR和VR程序，為他們的Oculus平台提供便利。不過如果效果好的話，應用於其他3D遊戲應該也是可行的。當然，新技術需要靠實踐去檢驗，我們很期待看到這個神經超採樣的實際表現。