最牛抓取機器人：X射線“看透”物體堆，還能適應不同環境

智東西（公眾號：zhidxcom）

編 | 董温淑

智東西1月14日消息，近日，谷歌和加州大學伯克利分校的研究人員在論文預印本網站arXiv上發表了兩篇論文，描述了兩項新的人工智能（AI）技術，使機器人能更好地適應從未見過的新環境、完成行抓取、撿拾、丟棄等任務。

第一項研究介紹了X射線機器搜索方案，能提高機器人識別目標物體的準確率。第二項研究介紹了一個適應訓練算法，能提升機器人在不同環境中抓取目標物體的能力。

在實驗環境中，機器人模型的抓取準確率達到82%！在模擬真實環境條件下，該機器人模型的抓取準確率也可以達到最高90%。

在電子商務、貨倉貨物裝卸、家庭服務等場景中部署機器人可以節省人力資源、提升人類生活質量。但是，現有的機器人模型普遍不夠智能，無法準確找到用户指定的物體，面對堆放的物體時尤其如此。

谷歌和加州大學伯克利分校的研究人員認為，集成X射線模塊可以讓機器人“透視”物體堆，提升機器人識別準確率。

這項研究名為《X射線：通過最小化學習佔有率進行機器搜索（X-Ray：Mechanical Search for an Occluded Object by Minimizing Support of Learned Occupancy Distributions）》

論文鏈接：https://arxiv.org/pdf/2004.09039.pdf

1、分佈率學習+X射線，讓機器人“看透”物體堆

在這項研究中，研究人員讓機器人模型記憶目標對象的外型，再讓其用X射線照射堆放的物體，找出物體堆內部與目標對象外型最像的物體。

實驗中，研究人員先訓練機器人學習物體的分佈情況，用3D物體模型模擬真實物體的堆放。

研究人員從開源數據網站Thingiverse（共有1296個3D CAD模型）中取樣，選擇出10個體積相等、尺寸不同的盒子作為目標物（長寬比從1:1到10:1不等）。為了使目標物更容易被遮擋，選取出的10個盒子厚度較小。

每一個目標物體都單獨生成一個含有10000張圖像的數據集，10個目標物體最後總共生成了100000張圖像。為了對機器人學習情況進行驗證，研究人員將每個10000張增強深度圖像的數據集劃分為訓練集和測試集。其中，約8000張圖片被用於訓練，剩餘約2000張則用於驗證測試。

利用訓練集，研究人員訓練出一個基於ResNet-50模型的全卷積神經網絡，訓練時間約為2.5個小時。

接下來，用測試集驗證模型對佔有率分佈的學習情況。

用平衡精度（Bal.Acc.，Balanced accuracy）和並交比（IoU，Intersection over Unio）來度量網絡的學習情況。Bal.Acc.和IoU數值越大，代表學習效果越好。

表格第一列為模型在測試集中的表現，模型對長寬比1:1的盒子的分佈率預測最為準確，Bal.Acc.和IoU值分別達到了98%和0.91。

除了長方體盒子，研究人員還選取了4個不規則物體作為目標對象進行示例預測。結果顯示，模型能預測出前3個物體（蓋子、多米諾骨牌、長笛）的分佈情況。

基於對佔有率分佈預測的學習，研究人員為機器人集成X射線模塊，讓機器人“透視”物體堆、找出與目標物體外型最相似的物體。

實驗過程中，先把物體堆的RGBD圖像（通過X射線照射得到）和目標物體外型輸入模型。模型根據RGBD圖像預測物體堆內部分佈情況，找出外型“像”目標物體的物體，並部署一個最簡單的抓取動作。

2、被遮擋物體也能認出來

實驗結果顯示，不論目標物體是被完全遮擋還是部分遮擋，機器人都能通過判斷物體形狀把它識別出來。

上行目標物體被完全遮擋，下行目標物體被部分遮擋

研究人員比較了X射線策略與兩個基線模型的抓取結果。X射線方案在82%的情況下成功抓取出目標對象，比表現最佳的基線策略還高15%。

通過第一項研究，機器人的抓取準確率有所提高，但實際應用場景與實驗室模擬環境有很大差別。為了提升機器人在貨倉、家庭等不同工作環境中的穩健性，研究人員對其進行了適應性訓練。

這項研究名為《基於視覺的端到端機器人控制的高效適應訓練（Efficient Adaptation for End-to-End Vision-Based Robotic Manipulation）》

論文鏈接：https://arxiv.org/pdf/2004.10190.pdf

1、預訓練+改變實驗條件，提升機器人環境適應性

首先，研究人員對抓取機器人模型進行預訓練，選用QT-Opt算法，訓練分兩步進行。

第一步，在離線狀態下訓練機器人模型進行580000次抓取（約花費6000個小時）；

第二步，在線條件下，訓練該模型對同一組對象進行28000次抓取。

經過兩步訓練，機器人模型在實驗室模擬環境的抓取準確率能達到96%。

然後，研究人員模擬出5種真實環境，記錄機器人在這5種環境中的抓取準確率。

5種環境分別為：棋盤背景、強光照射、將夾鉗伸出1cm、將夾鉗偏移10cm、用透明瓶子做目標物。

與基礎策略相比，機器人在研究人員新設置的5種環境中的抓取準確率均有所下降，將夾鉗偏移10cm時準確率下降最多（下降了39%）。

接下來，研究人員利用5種仿真環境中的訓練數據，結合基本訓練集，對模型進行微調。

2、準確率回升，最高可達98%

最終，經過1～4個小時的學習，機器人模型的抓取準確率回升。在基礎條件下，抓取準確率達到98%；在棋盤格背景條件下，抓取準確率最高，達到90%。

論文還指出，隨着訓練時間繼續加長，機器人的表現會更好。

谷歌和加州大學伯克利分校的研究人員利用X射線機器搜索策略及一系列模型適應性訓練方法，研發出一款環境適應性較高的抓取機器人。相比於已有的機器人模型，這款機器人更能適應實際應用的要求。

研究人員還表示，將在未來繼續探索，下一個目標是提高機器人自動化程度，使其能夠在無人監督的情況下完成任務。

文章來源：VentureBeat，arXiv