SIGGRAPH 2020 | 自動生成prior的曲面網格重構技術

參與：小舟、Racoon

與使用預先設定的光滑 prior 不同，這篇 SIGGRAPH 論文使用 CNN 自動生成 prior，準確建模細粒度特徵的同時過濾噪聲與異常值。

近日，來自以色列特拉維夫大學的研究者提出了一種從輸入點雲重構曲面網格的技術——Point2Mesh。與之前方法需指定一個用於編碼期望形狀的 prior 不同，該研究使用輸入點雲來自動生成 prior，並稱其為 self-prior。該 self-prior 將重複出現的幾何形狀由單一形狀封裝在深度神經網絡的權重之中。

研究者對網絡權重進行優化，使得初始網格變形，以收縮包覆（shrink-wrap）單個輸入點雲。由於共享的局部內核被用來擬合整個物體，因此考慮到了整個重構的形狀。將多個卷積核在整體形狀上進行全局優化，從而鼓勵了局部尺度在形狀曲面上的幾何自相似性。

研究者展示了，與預先設置的平滑 prior（經常陷入不佳的局部最優）相比，使用 self-prior 收縮包覆點雲能夠收斂至令人滿意的結果。傳統的重構方法在非理想條件下性能會惡化，並且如非定向法線，噪音和部件缺失（低密度）等情況在現實世界的掃描裏經常出現，而 Point2Mesh 在非理想條件下具有一定的魯棒性。研究者在大量不同複雜度的各種形狀上驗證了 Point2Mesh 的性能表現。

論文地址：

GitHub 地址：

項目頁面：

Point2Mesh 概述

Point2Mesh 是一種從輸入點雲重構曲面網格的技術。該方法從單個對象學習，通過優化卷積神經網絡（CNN）的權重來使一些初始網格變形，以收縮包覆輸入點雲：

優化過的卷積神經網絡權重充當 prior 的角色，對期望形狀屬性進行編碼，研究者將其稱為 self-prior。

該方法能夠正常工作的前提是形狀不是隨機的，並且在多個尺度下具有的很強的自相關性。

self-prior 的核心是卷積神經網絡的權重共享結構，該結構本身能夠對重複出現與相互關聯的結構進行建模，因此對於那些噪聲和異常值這類不是重複出現的幾何形狀不是很敏感。

具體而言，Point2Mesh 通過優化卷積神經網絡權重，不斷迭代來使初始網格變形以收縮包覆給定的輸入點雲 X（如圖 8 所示例子）來重構一張水密網格（watertight mesh）。正常的形狀具有跨尺度的強自相關性，並且經常重複出現細粒度（fine-grained）的細節，然而噪聲是隨機且不相關的。這使得對重複出現的細粒度細節進行重構，同時消除噪聲成為可能。

圖 6 展示了 self-prior 可以消除甲龍背部和尾部重複出現的隆起上的不規則凸起，但保留了頸部的細粒度隆起。

圖 6：輸入點雲從（真實）網格進行採樣，並加入了噪聲和缺失區域。

更進一步，注意 self-prior 在圖 2 和圖 7 上是如何補全缺失部分的，並與整體形狀的特徵保持一致。

圖 2：使用平滑 prior 從有缺失區域的點雲中重構完整的網格，該方法會忽略整體形狀特徵。

圖 7：Point2Mesh 利用自相似性來更好地重建缺失的那一半拱頂。

圖 4 顯示了該方法的整體框架。

圖 4：在 l 層上 Point2Mesh 框架概覽。

實驗

研究者通過一系列定性定量的實驗驗證了 Point2Mesh 的適用性，這些實驗中涉及缺失區域、噪聲、具有挑戰的空洞等形狀。研究者用來自 [Choi et al. 2016] 的真實掃描對象和來自 NextEngine 3D 的激光掃描儀對所提方法進行定性分析。研究者提供了額外的結果和在點雲集上的量化實驗，這些點雲集是從真實網格曲面採樣的。這些網格數據集包括：Thingi10k [Zhou and Jacobson 2016]，COSEG [Wang et al. 2012]，TOSCA high-resolution [Bronstein et al. 2006] 和 the Surface Reconstruction Benchmark [Berger et al. 2013]。

圖 12：在估計法線上的重構結果。

圖 13：來自真實掃描的重構。

表 1：形狀降噪比較（F-score 越大越好）。

圖 14：噪聲比較的定性結果。

表 2：形狀完成度結果比較（F-score 越高越好）。