想象一下，工人正在修復路面上一個大坑洞，因此擁有四條車道的馬路縮小為兩車道。一名工人左手松松地舉著停車標志，用右手揮手示意汽車通過。如果是人來開車的話，自然不會考慮是否要遵循手勢或標志，而是會平穩前進。
然而，這種情況可能會讓自動駕駛汽車停下來。它會理解停止的標志并停下來，但是那個手勢呢?這對于自動駕駛系統來說要復雜得多。
在這些情況下，解讀肢體語言是關鍵。
所以，要想在不影響交通流量的情況下，安全、無縫地應對這些挑戰，就需要自動駕駛系統了解用于引導人類司機應對意外情況的常見手勢，以及行人處理事情時的手勢和肢體語言。
世界各地的自動駕駛汽車開發人員多年來一直致力于讓自動駕駛汽車至少理解一些基本的手勢，最初的重點是自行車手發出的信號。一般來說，開發人員依靠機器學習來提高車輛識別現實環境并了解如何應對的能力。
Cruise，一家為城市設計自動駕駛汽車服務的初創公司，他們從 200 多輛自動駕駛汽車中收集數據。在過去的七年里，這些汽車每年行駛數十萬英里;在疫情爆發之前，它們晝夜不停地在路上行駛，只有在充電 (他們的汽車是全電動的)和定期維護時才會休息。我們的汽車學習速度很快，因為它們正在舊金山的丘陵街道上行駛，舊金山是美國最復雜的駕駛環境之一。
但他們意識到，機器學習模型并不總是有足夠的訓練數據，因為汽車在現實世界中體驗重要手勢的次數不夠多。汽車需要從不同的角度、不同的距離以及在不同的光照條件下識別出每一種情況——這些限制因素的組合產生了大量的可能性。如果僅僅依靠汽車的真實體驗，將需要數年時間來獲得這些事件的足夠信息。
他們在 Cruise 找到了一個創造性的解決方案：人類手勢的動作捕捉 (mo-cap)，一種游戲開發者用來創造角色的技術。Cruise 一直在雇傭游戲開發者，以獲得模擬詳細世界的專業技能，他們中的一些人則承擔起捕捉數據的挑戰，以便教他們的車輛理解手勢。
首先，他們的數據收集團隊會建立一份完整的清單，列出人們使用身體與世界和他人互動的方式，比如打出租車，走路時打電話，或者走到街上躲避人行道施工。從自動駕駛汽車可能會誤解為指令本身的動作開始——例如，行人向朋友揮手。接著，他們又做了其他一些靠近車輛但不是針對它的手勢，比如停車人員在車輛旁邊的車道上揮手示意車輛開進車庫，建筑工人舉著要求車輛暫時停車的牌子。
最終，他們提出了一個用手勢傳達的五個關鍵信息的初始列表：停、走、左轉、右轉，以及我們常說的 “不”——也就是那些與過路車輛無關的常見動作，比如自拍或取走背包。研究人員使用了普遍接受的美國手勢，假設汽車會在右邊行駛，因為他們是在舊金山進行測試。
當然，人們用來發送這些信息的手勢并不是統一的，所以研究人員從一開始就知道他們的數據集必須包含遠不止五個例子。到底有多少，他們不確定。
創建這個數據集需要使用動作捕捉技術。有兩種類型的 mo-cap 系統：光學和非光學。光學版的 mo-cap 使用分布在一個巨大網格狀結構上的相機，這個結構圍繞著一個舞臺;來自這些攝像機的視訊流可以用來三角定位演員穿著的全身套裝上的視覺標記的 3D 位置。該系統有幾種變體，可以產生非常詳細的捕捉，包括那些面部表情。這種技術允許電影演員扮演非人類角色，比如 2009 年的電影《阿凡達》，也允許游戲行業記錄運動員的動作，以開發以體育為主題的電子游戲。
然而，光學運動捕捉必須在工作室中使用復雜的多攝像頭設置來完成。因此，Cruise 選擇了一種非光學的、基于傳感器的動作捕捉版本。這項技術依賴于微機電系統 (MEMS)，攜帶方便，無線，不需要專門的工作室空間。這給了研究人員很大的靈活性，允許他們把它帶出工作室，放到現實世界的位置。
他們的動作捕捉每一套都有 19 個傳感器包，它們附著在身體的關鍵部位，包括頭部、胸部、臀部、肩膀、上臂、前臂和腿部。每個包裹大約是一枚銀幣大小，包含一個加速計、一個陀螺儀和一個磁強計。這些設備都被連接到一條包含電池組、控制總線和 Wi-Fi 收發器的皮帶上。傳感器數據無線傳輸到一臺運行專用軟件的筆記本電腦上，讓工程師實時查看和評估數據。
研究人員從 Cruise 工程團隊中招募了 5 名身體特征各異 (包括身高、體重和性別的差異)的志愿者，讓他們穿上套裝，并把他們帶到相對沒有電子干擾的地方。每個工程師兼演員首先擺出 t 形 (站直，雙腿并攏，手臂伸向一側)來校準動作捕捉系統。從那里，演員做了一個又一個手勢，這些手勢來自他們團隊從真實數據中創建的手勢列表。
在 7 天的過程中，研究人員讓這 5 位演員一遍又一遍的使用這套手勢，每只手分別使用，有時也一起使用。他們還要求演員們表達不同的強度。例如，對于在施工區內超速行駛的汽車發出緊急停車信號的手勢，其強度可能會很高。當運動表明汽車應該減速并逐漸停止時，強度會降低。研究人員最終得到了 239 個 30 秒的剪輯。
Cruise 使用來自動作捕捉系統的數據來生成簡筆畫 (下圖)和道路工人的動畫 (上圖)，作為教會自動駕駛車輛識別人類手勢的努力的一部分。
然后，工程師準備數據，輸入到機器學習模型中。首先，他們驗證了所有的手勢都被正確記錄下來，沒有額外的噪音，并且沒有旋轉錯誤的傳感器提供了錯誤的數據。然后工程師通過軟件對每個手勢序列進行運行，以確定序列中每一幀的關節位置和方向。由于這些位置最初是三維捕獲的，軟件可以計算每個序列的多個二維透視圖;該功能允許我們通過遞增地旋轉點來擴展手勢設置，以模擬 10 個不同的視點。
研究人員創造了更多的變化，通過隨機放下身體的不同點來模擬真實世界中某些東西隱藏了這些點，然后再一次遞增地旋轉剩下的點來創造不同的視角。
除了提供不同的人從不同的角度所做的各種各樣的手勢，動作捕捉也給研究人員提供了非常干凈的數據：人體姿勢的骨骼結構是一致的，無論服裝的風格、顏色或光線條件可能是什么。這些干凈的數據讓他們更有效地訓練機器學習系統。
一旦汽車接受了動作捕捉數據的訓練，它們就能更好地駕馭城市駕駛呈現的各種場景。其中一個例子就是道路建設。舊金山總是有過多的建設項目在進行中，這意味著汽車經常面對著指揮交通的工人。使用 cruise 的手勢識別系統，汽車將能夠在理解他們各自的手勢的同時，安全地繞過多個工作人員。
舉個例子，三名公路工人擋住了一輛自動駕駛汽車計劃行駛的車道。其中一名工作人員負責指揮交通，另外兩名工作人員負責評估道路損壞情況。指揮交通的工人手里拿著一個牌子;它有八條邊，像個停車標志，但上面寫著 “慢點”。他用另一只手示意車輛向前走。為了安全通過十字路口，自動駕駛汽車將識別這個人是控制交通的人。車輛將正確地理解他的手勢，即它應該轉到另一條車道，向前行駛，并忽略在十字路口對面停車但似乎擁有路權的汽車。
在另一種情況下，車輛會意識到，有人進入十字路口，無視閃爍的 “禁止行走”標志，實際上是在指揮交通，而不是一個闖紅燈的行人。汽車會注意到這個人是面對著它的，而不是表現出他的立場，就像準備過馬路的人會做的那樣。它會注意到這個人的一只手是抬起的，另一只手在移動，以便給車輛發出信號讓它過馬路。它甚至會記錄武斷的行為。所有這些使汽車明白，即使在十字路口看到有人，它也可以繼續向前行駛。
訓練自動駕駛汽車理解手勢只是一個開始。這些系統必須能夠探測到不僅僅是一個人的基本運動。研究人員正在繼續測試手勢識別系統，使用測試車輛在現實世界中行駛時收集的視頻。與此同時，研究人員已經開始訓練系統來理解人類搬運或推其他物體的概念，比如自行車。這一點很重要，因為推自行車的人通常與騎自行車的人行為不同。
研究人員還計劃擴大數據集，以幫助汽車更好地理解騎自行車的人的手勢——例如，左手向上，肘部呈 90 度角，意味著騎自行車的人要右轉;右臂直向外也有同樣的意思。自動駕駛汽車已經能識別騎自行車的人，并自動減速為他們騰出空間。然而，知道他們的手勢意味著什么，可以讓汽車確保給騎自行車的人足夠的空間來執行有信號的操作，而不會完全停下來，造成不必要的交通堵塞。(當然，汽車仍然會注意那些沒有表明意圖的自行車手的意外轉彎。)
在未來幾年，自動駕駛汽車將改變人們的生活方式。機器學習在這方面已經幫助研究人員走了很長的路。但是創造性地使用像動作捕捉這樣的技術可以讓研究人員更快地教會自動駕駛車更好地在城市中共存，讓我們的道路更加安全。
關鍵詞： 自動駕駛車
責任編輯：Rex_07
