兩年前，一些企業和特斯拉在自動駕駛的不同技術路線上較勁，現在他們紛紛走上了特斯拉的道路。同時，一種全新的感知范式——BEV+Transformer，已經從特斯拉迅速擴延到更多自動駕駛企業的藍圖規劃中。
(資料圖)
文｜周享玥
編｜趙艷秋
2019年，狂人馬斯克一句“Lidar is a fool’s errand”，直接讓自動駕駛路線一分為二，特斯拉如獨行俠一般，堅持探索起自己的純視覺路線，其余絕大部分玩家則朝著激光雷達的方向一路前行。尤其是在發現高精地圖可為自動駕駛提供超視距信息后，“激光雷達等多傳感器融合+高精地圖”的技術路線更是成為大部分企業的普遍選擇，以尋求兼顧成本和安全的最優解。
根據中金在《人工智能十年展望（三）：AI 視角下的自動駕駛行業全解析》中的定義，視覺主導與激光雷達技術路徑之爭，從技術角度看，本質上是AI算法+硬件逼近人腦能力的速度，與激光雷達等可選硬件對數據量、算法彌補程度及其降價速度之間的競爭。
早期，大家在各自路線上都有進展。不過，隨著自動駕駛企業們從高速NOA（自動輔助導航駕駛）走向城市NOA，曾經被視為“香餑餑”的高精地圖開始日漸失寵，反而是特斯拉以攝像頭與各種傳感器作為硬件，背后重算法的路線慢慢受到重視。
一些企業也從前兩年和特斯拉的路線較勁，紛紛轉到了“重感知，輕地圖”的模式。與此同時，一種全新的感知范式——BEV+Transformer，已經從特斯拉迅速擴延到更多自動駕駛企業的藍圖規劃中。
而隨著ChatGPT的驟然爆火，生成式AI大模型正在給自動駕駛領域帶來一些新的變量和啟示。
01
自動駕駛圈“去高精地圖化”
2021年年中，正在沖刺港股雙重上市的小鵬汽車，斥資2.5億元收購了一家進入破產程序的地圖公司智途科技。這家公司2019年的營收只有738萬元，能得“金主”小鵬看中的原因在于，其擁有堪稱“稀有”的導航電子地圖制作甲級測繪資質。這是入局高精地圖的門檻所在，過去二三十年間，國內也不過30多家企業獲得過這一資質。
高精地圖和激光雷達一向被喻為“自動駕駛的兩根拐杖”——前者負責開路，提高規劃能力；后者負責避障，用來增強感知能力。為此，高精地圖一直被視作自動駕駛汽車基礎設施的一部分，是“兵家必爭之地”。
此前，小鵬雖與高德合作，可采用后者提供的高精地圖，但地圖的更新要依賴高德的節奏。自己擁有一家高精地圖公司就不一樣了。
這是當時絕大多數車企的共同想法。吉利旗下的億咖通、上汽控股的中海庭都曾拿到甲級測繪資質，長城汽車、蔚來汽車、小米汽車等，也都試圖尋求過相關資質的收購。但“牌照” 這東西終歸僧多肉少，因此也有大量自動駕駛企業通過與圖商合作，將高精地圖裝上了車，一如理想2021年與高德地圖的合作，又如蔚來2022年與騰訊在高精地圖領域的合作。
不管是通過哪種方式，高精地圖的確在高速公路、園區等相對封閉的場景中廣泛應用起來。其效果也十分顯著，絕大多數車企都實現了與特斯拉導航輔助駕駛類似的功能。例如小鵬用于高速公路的智能導航輔助駕駛NGP、蔚來的NOP、理想的NOA、長城的NOH，以及廣汽埃安的NDA等。
佐思汽研發布的《2022年高精度地圖行業研究報告》顯示，2022年上半年，中國乘用車前裝高精地圖裝配量超10萬輛，高精地圖已從選配走向標配，如理想L9、蔚來ET7、高合HiPhi等。
高精地圖在高速公路等封閉場景推進迅速，但當它來到城市，情況出現了180度大轉彎。從2022年下半年開始，隨著對城市自動輔助駕駛的探索持續深入，自動駕駛圈去高精地圖化的動作愈發明顯。
2022年4月，長城旗下毫末智行提出要做“重感知、輕地圖”的城市智能駕駛，開始降低方案中高精地圖的權重，乃至做到無需高精地圖；同年下半年，華為余承東表示：“自動駕駛未來不應過分依賴于高精地圖、車路協同。”盡管華為本身正是具備甲級測繪資質的企業。
等到2023年上半年，“去高精地圖”運動更加熱鬧。華為4月上市的問界M5和問界M5 EV，新增的高階智能駕駛版本不依賴高精地圖，主要通過車端融合感知來進行環境識別。按照規劃，至2023年三季度，問界 M5 智駕版 HUAWEI ADS 2.0 將在 15 城實現不依賴高精地圖落地，至四季度，這一數字還將進一步擴展至45城。
何小鵬在1月的小鵬汽車全員會上提出，小鵬2023年的X-NGP輔助駕駛要拋掉高精地圖。李想在內部表態，理想汽車不依賴高精地圖的端到端訓練城市NOA導航輔助駕駛，將會在2023年底開始落地。而元戎啟行、智行者、地平線等多家自動駕駛公司也都順勢發布了不依賴高精地圖的自動駕駛方案和產品。
至于百度，雖沒有完全放棄高精地圖，但也在嘗試減少對高精地圖的依賴，于近期推出了城市域領航輔助駕駛Apollo City Driving Max，搭載“輕量級高精地圖”，據稱比起行業通用的傳統高精地圖要“輕”近80%。“我們判斷，完全不依賴高精地圖的路線可以走通，但走通的時間絕對不是今年或者明年。” 百度集團副總裁、智能汽車事業部總經理儲瑞松表示。
高精地圖路線由熱轉冷背后，是高級別輔助駕駛從高速場景駛入城市后，不利因素被進一步放大。
不同于普通導航地圖，高精地圖是給機器看的，定位精度可達到厘米級，且蘊含信息豐富，除了會記錄道路形狀、坡度、曲率、方向等道路數據，還能提供車道線類型、車道寬度等車道級別的導航信息，以及諸如交通標志、高架物體、防護欄等車道周邊的3D輪廓信息，從而更好地幫助車輛完成行進規劃。但這恰恰也意味著高精度地圖本身更新周期漫長、成本高昂。
根據《智能網聯汽車高精地圖白皮書》，采用傳統測繪車方式，分米級地圖的測繪效率約為每天每車500公里道路，成本為每公里10元左右，而厘米級地圖的測繪效率約為每天每車100公里道路，成本可能達每公里千元，一天就是十萬元級別的費用。
這放在之前，大家主攻的是中國城際高速公路和城市快速路，總的里程數加起來也就30萬公里，尚且可以努力一下，但全國的城市道路卻有近1000萬公里，再加上城市道路更新變化又快，升級改造頻繁，地圖的鮮度和成本，都是巨大挑戰。
更何況，甲級測繪牌照還存在有效期，到期后需要復審，而國家對于地圖測繪資質的監管卻在收緊。2022年，也即小鵬曲線救國拿下“牌照”的第二年，智途科技沒能通過甲級測繪資質復審，相當于“買了個寂寞”，也一定程度上拖累了小鵬汽車城市 NGP的落地節奏。
同樣未能通過資質復審的，還有上汽旗下的中海庭、東風投資的立得空間等。有數據統計，2019年相關部門將獲得資質的圖商隊伍擴容到了31家，但到2022年，只有19家單位通過復審，近三分之一被淘汰。
即便是選擇與圖商合作，由于高精地圖審圖非常慢，企業受到的掣肘也多，比如此前華為、小鵬的城市輔助駕駛之所以僅在廣州、深圳和上海開放，原因之一就在于只有這幾個城市的地圖通過了審核。
不過，要想在不依賴高精地圖的情況下，實現城市自動輔助導航駕駛也并不是一件容易事兒。為此，不少自動駕駛企業開始向特斯拉“取經”，紛紛轉向一種全新的感知范式——基于Transformer的BEV智駕大模型。
02
特斯拉的一次量子式躍升
2016年5月，一輛開啟了自動駕駛模式行駛的Model S在美國佛羅里達州的高速上行駛，卻在岔路口與一輛垂直方向開來的白色廂式貨車相撞，40歲的司機Joshua Brown當場死亡。這是全球首例被曝光的自動駕駛事故，瞬間就將“當紅炸子雞”特斯拉推上風口浪尖，也直接加速了它與自動駕駛方案提供商Mobileye的分道揚鑣。
特斯拉很早就有甩開Mobileye的想法，畢竟，Mobileye的芯片和自動駕駛軟硬件解決方案是業內公認的“黑盒子”，對整車廠來說并不夠友好。例如理想，就一度為了解決黑盒子問題而自行在Mobileye 的前視攝像頭旁增設一個攝像頭，專門采集道路信息，用于輔助駕駛系統的算法訓練和優化。
馬斯克不喜歡Mobileye，但人在屋檐下不得不低頭。直到2015年，英偉達入場自動駕駛，特斯拉才有了Mobileye之外的另一個選擇。更重要的是，短暫牽手英偉達的同時，特斯拉的自研之路也在緊鑼密鼓地進行，感知數據、算法、芯片、計算平臺等都是它在布局的。
這期間，大量的人才被挖進特斯拉，這家公司的自動駕駛團隊Autopilot，在頂峰時一度擁有300多名工程師（不包括1000多名數據標注員），其中200人專攻軟件，100人專攻硬件和芯片。團隊的負責人們是世界頂級技術大牛，包括前AMD首席架構師Jim Keller，前蘋果芯片團隊核心成員Pete Bannon，編程語言 Swift 主要開發者 Chris Lattner、OpenAI首席科學家Andrej Karpathy……
源源不斷的頂配人才和大量真金白銀的投入，讓特斯拉以遠超同行的速度迅速完成了從合作到全棧自研的轉變。
最先亮相的是硬件。2019年4月的自動駕駛日上，特斯拉發布第三代自動駕駛硬件平臺HW 3.0，搭載的正是其自研芯片，總算力達 144TOPS，是英偉達Drive Xavier理論性能值21TOPS的7倍。HW 3.0每秒可處理2300幀圖像，較搭載英偉達芯片的 HW 2.5提升21倍，單體成本也較HW 2.5降低20%。
但特斯拉的FSD （Full Self-Driving，完全自動駕駛）功能真正迎來脫胎換骨的變化要到兩三年后。2021年7月10日，特斯拉正式向約2000名美國用戶推送“完全自動駕駛”FSD Beta V9.0版本。該版本的核心變化在于，其摒棄了毫米波雷達、超聲波雷達等傳感器，采用純視覺的自動駕駛方案，僅用8個攝像頭來實現城市級別的完全自動駕駛能力。
而達成這一結果的基礎來自于特斯拉此前一場聲勢浩蕩的算法重寫，尤其是感知算法的重寫。
2020年8月，馬斯克在推特上首次提及，特斯拉正在重寫FSD的基礎架構，并稱這將是一次“quantum leap”（量子式躍升）。一同被公布的，還有其正在開發中的全新用于神經網絡訓練的超級計算機 Dojo。
重寫的原因在于，馬斯克認為Autopilot過去被困在一個局部最大值（Local Maximum）里，原有軟件架構下，其處理的數據都是不含有時間坐標的 2D 圖像數據。但行車是在三維空間中進行的，甚至更好的自動駕駛效果還需要對被遮擋的部分做一定預測，而這給特斯拉的自動駕駛系統提出了新的要求——需要能夠處理3D甚至4D的數據，實現從圖像級處理到視頻級處理的躍遷，并最終倒逼其對基礎代碼及訓練深度神經網絡的基礎設施進行重構。
不過，從2020年10月特斯拉宣布開啟FSD Beta內測，到真正向外公測，仍然還有一場技術變革需要完成。
2021年8月召開的特斯拉AI DAY上，特斯拉AI高級總監Andrej Karpathy 向外展示了一項全新技術——基于Transformer的BEV感知方案。這是大模型技術首次被應用到自動駕駛行業，也是特斯拉實現純視覺的關鍵所在。
在此之前，特斯拉是通過每個攝像頭單獨進行感知，再將不同攝像頭感知到的結果進行融合。但這種方式存在不少問題，比如不同攝像頭之間的信息融合困難，難以預測被大面積遮擋的物體，以及因深度估計的誤差導致最終輸出結果相互沖突等。
為此，特斯拉開始嘗試用神經網絡將圖像空間映射到 BEV 空間。BEV 的全稱是 Bird"s Eye View，也就是鳥瞰圖的意思，是一種用于描述感知到的現實世界的視角或坐標系，相當于在車輛正上方10-20米的位置有一個直升機俯視車輛及周圍環境的視角，也即所謂的“上帝視角”。
但如何將攝像頭采集的2D圖像提取特征后，準確投射到向量空間中去，拼接轉化成BEV空間中的3D立體圖景，最后生成汽車周圍道路環境的鳥瞰圖，依然是一個復雜問題。
Transformer的出現解決了這一難題。2017年，Transformer作為一種新型神經網絡結構被谷歌所提出，并迅速演化出谷歌的BERT模型和OpenAI的GPT模型兩條路線，后來大火的ChatGPT中的“T”，正是指Transformer大模型。
2020年谷歌又提出ViT（ Vision Transformer），其也開始廣泛應用于計算機視覺領域。特斯拉也是在這個時候，將Transformer引入自動駕駛領域。而主導這項工作的正是2017年被馬斯克從OpenAI挖到特斯拉，又在2022年7月再次離職，于今年上半年重新回到OpenAI的Andrej Karpathy。
Transformer的交叉注意力機制可以將一個序列中的不同位置聯系起來，計算出序列的表示形式。這意味著它可以直接進行不同序列（指2D特征圖和3D的BEV視圖）之間的轉換，對于BEV空間轉換任務適配性較高。
而成功轉換后的BEV空間內，由于坐標系相同，來自攝像頭的各種圖像數據，以及激光雷達、毫米波雷達等的感知數據將可以很方便地進行融合，同時還能引入過去時間片段中的數據，進行時序融合，形成 4D 空間，讓感知效果更準確和穩定。
簡單來說，基于Transformer的BEV感知技術，可以將車道線等道路幾何信息以及人、車等動態目標全都統一到一個坐標系下，便于車輛更加準確地對道路情況進行判斷。且由于BEV空間下的感知結果與決策規劃所在坐標系也是統一的，因此感知與后續模塊通過BEV變換也可以緊密聯系到一起。
這一技術路徑可以通過實時感知，將不同視角的攝像頭采集到的圖片統一轉換到上帝視角，相當于車輛實時生成“活地圖”，補足了自動駕駛后續決策所需要的道路拓撲信息，可以實現去高精地圖化。
這一感知方案的提出，確立了特斯拉FSD在視覺感知領域的領先地位，并在后來被無數同行學習跟進。
而這種能力還在2022年底的AI DAY上進一步得到了強化，特斯拉將BEV升級到了占用網絡（occupancy network），進一步提升了泛化能力。這一技術雖也是BEV技術的延伸，但最大的區別就在于系統的感知從2D變為了3D，讓車輛自身置身于一個3D世界中，并在 10 毫秒內向車載計算機輸出車輛周圍每個 3D 位置的占用概率，并能夠預測被瞬時遮擋的障礙物。
這意味著，特斯拉可以無需再糾結物體具體是什么，而只考慮體素是否被占用，就可以判斷到底要不要躲避，有助于更好化解一些輔助駕駛中的Corner case（極端事件）。
03
AI大模型卷進自動駕駛
無論是BEV+Transformer，還是占用網絡，從某種意義上說，其實都是特斯拉為了能徹底拋棄激光雷達，讓其不至于因不裝激光雷達而導致無法準確還原車輛行駛周圍 3D 場景所作的努力。
不過，這樣的技術現在也開始越來越多被本來走“激光雷達等多傳感器融合+高精地圖”路線的玩家所采用。據不完全統計，目前包括“蔚小理”在內的車企，以及百度 Apollo、華為、大疆、毫末智行、輕舟智航、小馬智行、元戎啟行、地平線等自動駕駛企業都在使用BEV技術。
一位行業內人士透露，到今天，BEV路線已經不是說有幾家代表性企業了，而是大家都在做，“已經是必備的了”。
尤其是在去高精地圖化需求明顯的當下，基于Transformer的BEV感知模型更是被認為是解決城市輔助導航駕駛對高精地圖過度依賴的關鍵技術和底氣所在。
安信證券就曾在《AI大模型在自動駕駛中的應用》中判斷，基于BEV技術的發展，“輕地圖，重感知”將成為行業發展的主流方向。且從特斯拉感知算法迭代歷程來看，未來AI大模型對城市領航輔助駕駛的賦能方向將分為三個階段：第一階段，BEV+transformer，實現“脫高精度地圖”；第二階段，升級到占用網絡，實現“脫激光雷達”；第三階段，從感知到決策控制端到端的自動駕駛模型，有望成為未來發展方向。
事實上，國內自動駕駛公司已經公布的“脫圖”計劃，幾乎都與特斯拉這套BEV+Transformer的技術框架相關。
據報道，小鵬汽車正是在2021年看到特斯拉引入Transformer的BEV效果之后，才真正決定去掉高精度地圖，并搭建了基于Transformer的BEV視覺感知系統XNet。而在最近，小鵬P7i已經推出基于XBEV體系的高速NGP2.0，小鵬汽車自動駕駛副總裁吳新宙表示，這是基于BEV和Transformer架構落地的一個靜態網絡，從而實時產生高精地圖的能力。按照小鵬官方說法，它已成為國內首個量產 BEV 感知方案的玩家，這將讓它下半年能在數十個無圖城市上線XNGP功能，幾乎較此前采用高精地圖時的“進城速度”提升近10倍。
理想也在最近發布了最新城市NOA導航輔助駕駛AD Max 3.0，表示將于第二季度開啟推送，并于年底前完成100個城市的落地。而這套城市NOA背后，使用了三種神經網絡大模型算法：靜態BEV網絡算法，動態BEV網絡算法以及Occupancy網絡算法。
今年初的一場溝通會上，理想汽車CEO李想更是直言，到2024年，中高端車會出現真正基于大模型和BEV技術實現的城市導航輔助駕駛，屆時將會出現真正屬于智能電動車的變革時代。他判斷，使用Orin 計算平臺的這些企業，基本上都會在今年四季度交付最早用于測試的基于大模型的城市NOA。
無獨有偶，百度 Apollo、蔚來、華為、商湯等一眾廠商，甚至像地平線這樣的芯片公司，也都在 BEV+Transformer上有所布局。例如華為的ADS 1.0據稱已實現基于 Transformer 的 BEV 架構，而最新發布的ADS 2.0 進一步升級了GOD 網絡，類似于特斯拉的占用網絡算法。
百度Apollo 團隊也在過去一年里，將視覺感知升級成了BEV感知，可以端到端檢測障礙物、預測障礙物軌跡，以及感知道路結構，并記錄下時間，形成一個帶時間序列的4D空間。而商湯基于自己的視覺大模型研發的，用于自動駕駛的環視感知算法BEVFormer++，還曾在2022年Waymo 挑戰賽中獲得冠軍。
還有一家公司毫末智行，其實早在特斯拉將Transformer引入自動駕駛的兩三個月后，就已經宣布正在利用Transformer進行超大規模的感知訓練，并且后期有可能將其引入到規劃和控制中。
當ChatGPT的同源技術在自動駕駛領域悄然潛行了一兩年后，以ChatGPT為代表的生成式AI大模型，再次給了自動駕駛領域巨大沖擊。4月5日，Meta發布首個用于處理機器視覺領域的圖像分割的基礎大模型SAM，也一度在自動駕駛領域引起較大反響。
“我覺得GPT是一個劃時代的產品。”此前，在被問及ChatGPT這樣的生成式大模型可能對行業帶來的影響時，何小鵬稱。
他說，過去自己其實一直不認為高端的L4或L5能真正到來。因為告訴車一個簡單的規則后，它在碰到各種特殊情況下，做不到像一個真正的司機一樣。“但GPT再往前走三年，跟車的融合會完全不一樣。有了GPT之后，高階的L4或者準L5可能在2027年到2030年之間大家就會看到。”
據悉，小鵬汽車將在今年下半年，把GPT的能力帶到小鵬G6上面去。而今年4月，百度發布新一代自動駕駛云產品——Apollo Cloud 2.0，基于大模型實現了自動駕駛數據智能的搜索引擎。
商湯則宣布，他們已經在智能駕駛領域構建了感知決策一體化的自動駕駛多模態大模型，將帶來更強的環境、行為、動機解碼能力。同時，其視覺大模型還可以解決數據標注和Corner Case等問題。
自動駕駛公司毫末智行更是在今年4月，發布了業內首個自動駕駛生成式大模型毫末DriveGPT 雪湖·海若，通過引入駕駛數據建立RLHF（人類反饋強化學習）技術，對自動駕駛認知決策模型進行持續優化，現階段主要用于解決自動駕駛的認知決策問題，終極目標是實現端到端自動駕駛。
行業人士表示，ChatGPT爆火后，生成式大模型已經成為自動駕駛領域里一個比較熱的話題，大家都在討論如何去應用它，比如用在決策規劃層面，又或是用在仿真領域，來解決一些極端天氣或交通場景等Corner Case的數據采集問題。
但不可否認的是，大家目前都還處于一個比較早期的探索階段，應用在車輛的哪些方面也都還是方向性的，"相當于一個小樹苗，還沒有開始結果“。尤其不同于ChatGPT的是，大模型應用于自動駕駛領域一旦出錯可能就是人命攸關，但大家的期待是因為“有大模型，未來自動駕駛可以像老司機那樣絲滑”。
自動駕駛領域的從業者們期望大模型實現的更大意義在于，將來的自動駕駛能夠成為一個端到端的模型，預測、規劃、決策都在這個模型里。
參考資料：
1、《AI十年展望（三）：AI視角下的自動駕駛行業全解析》，中金公司，2022.01
2、《天下無“圖”？》，汽車商業評論，2023.03
3、《2022年高精度地圖行業研究報告》，佐思汽研，2022.10
4、《特斯拉的AI野心：向人類預警，給硅基帶路》，遠川汽車評論，2023.03
5、《全面重寫Autopilot，特斯拉自動駕駛的升維革命》，汽車之心，2020.09
6、《AI大模型在自動駕駛中的應用》，安信證券，2023.05
7、《城市NoA，自動駕駛的“ChatGPT時刻”》，36氪，2023.04
8、《程里對話小鵬汽車董事長何小鵬：GPT讓L4自動駕駛提前五年實現》，車云網，2023.04
