提臂、握拳、翻肘！簡單手勢＋肌肉信號近乎“無縫”操控無人機

愛因斯坦曾説，“唯一真正有價值的東西是直覺”。

但直覺這種東西很難言傳身教，尤其是對機器而言。如何讓機器感知人類直覺並作出正確的反饋？這可能是每個人都會關心的問題。

我們想與機器實現如人與人間那樣的無縫交流，但使用預先指定的語音/觸摸屏命令或設置複雜的傳感器後，往往讓機器變得很笨拙。讓機器理解我們的非語言暗示，比如手勢，可能是實現更廣泛人機協作的重要一步。此外，肌肉信號也可以為機器提供難以從視覺上觀察到的狀態信息。

一項來自麻省理工學院計算機科學與人工智能實驗室（MIT CSAIL）研究學者的新研究，或許可以實現“近乎無縫”的人機協作。相關論文已發表在本月 ACM/IEEE 國際人機交互會議上。

“我們設想這樣一個世界——機器可以幫助人類進行認知和體力勞動。但要做到這一點，機器需要主動適應人類，而不是人類去適應機器。”麻省理工學院計算機科學與人工智能實驗室主管、論文作者之一丹妮拉·羅斯（Daniela Rus）教授説。

在一個名為“Conduct-A-Bot”的系統中，研究人員通過在肱二頭肌、肱三頭肌和前臂上放置肌電圖和運動傳感器，使用簡單手勢和肌肉信號成功操控了機器的動作。該系統旨在減少普通用户與機器交互的障礙，通過使用少量可穿戴傳感器和即插即用的機器學習算法，為人類與機器助手或其他電子設備進行更自然的交流建立了新的可能。

研究學者表示，該系統可用於各種潛在場景，包括電子設備上的導航菜單和監督自主機器人。在這項研究中，測試對象為“Parrot Bebop 2”無人機，通過旋轉手勢、握緊拳頭、緊繃手臂和移動前臂等動作，控制無人機向左右、上下和前後移動，以及旋轉和停止。

視頻丨用手勢和肌肉信號控制無人機

結果顯示，無人機在 1500 次實驗中正確識別了 82% 的手勢，識別準確率較高。

圖｜各類手勢的識別準確度。（來源：CSAIL）

在無人機試驗中，基本手勢對應動作如下：

緊繃上臂，使無人機停止運動（類似於人在犯錯時表現出的短暫畏縮）：肱二頭肌和肱三頭肌信號；

單手左右、上下襬動，使無人機側向或垂直移動：前臂肌肉信號（用前臂加速度計指示手的方向）；

握拳，使無人機向前移動：前臂肌肉信號；

順時針/逆時針旋轉，使無人機轉向：前臂陀螺儀。

圖｜使用手勢、可穿戴肌肉和運動傳感器操控無人機。（來源：CSAIL）

快速理解人類手勢，有助於機器對人類在日常生活中使用的非語言信號作出正確反饋。“該系統可以幫助我們與機器進行無縫互動，就像人與人那樣。”論文第一作者約瑟夫·德爾普雷託（Joseph DelPreto）表示。

在此次無人機試驗中，該系統無需離線校準或訓練數據就能檢測預定義的手勢，只需簡單佩戴 EMG（肌電圖）和 IMU（慣性測量單元）傳感器，就可以遠程操控無人機。佩戴在肱二頭肌和肱三頭肌上的肌電圖傳感器用於檢測上臂肌肉何時緊繃，前臂上的肌電圖和運動傳感器則用於檢測手勢和肌肉信號。

圖｜肌電圖傳感器監測肱二頭肌、肱三頭肌和前臂肌肉。（來源：CSAIL）

當研究人員在做控制機器的手勢時，該系統會根據來自肌肉的信號進行自動校準，從而使普通用户可以更快、更容易地與機器互動。在這一過程中，該系統利用機器學習算法同步處理採集到的肌肉信號，實時檢測手勢，且無需進行任何離線校準。

機器學習分類器使用可穿戴傳感器檢測手勢。無監督分類器對肌肉和運動數據進行處理，並對其進行實時聚類，學習如何將手勢與其他動作區分開來，神經網絡也可以通過前臂肌肉信號預測手腕的彎曲或伸展。

圖｜記錄肌肉和運動信號。（來源：CSAIL）

研究人員表示，“這個系統使我們實現與機器無縫工作的願望又近了一步”，它們會成為更有效和更智能的工具以完成日常任務。

然而，要想在現實場景中普遍有效，就需要保證該系統簡單可用。研究人員表示，該系統根據以前用户的數據進行訓練，而不需要每個用户提供新的訓練數據；該系統只使用兩、三個可穿戴傳感器，不需要其他多餘的東西，大大降低了普通用户與機器互動的障礙。

這種類型的系統最終可以應用於人機協作的一系列應用，包括遠程探測、個人助理機器人，或者像運送物品或搬運材料這樣的機械任務。

此外，該系統可能為未來的非接觸工作開闢一個新領域。比如，在保持一個安全距離的前提下，我們可以控制機器人打掃醫院病房、為病人開藥等。

未來，研究小組希望擴大測試對象範圍，比如增加更連續的或用户自定義的手勢。最終，研究人員希望機器可以從這些人機互動中自我學習，從而更好地理解任務，提供更有預見性的幫助，增加它們的自主權。

-End-

參考：

https://www.csail.mit.edu/research/controlling-drones-and-other-robots-gestures