端到端的三大劃分

有的朋友看到這里可能有些懵，端到端也有不同劃分？是的沒錯，目前端到端主要可以劃分成三類（目前存在多種不同劃分，為了便于大家理解，本文只列舉英偉達GTC大會的劃分），如圖8所示可以分成顯式端到端、隱式端到端、基于大語言模型的端到端。

顯式端到端

顯式端到端自動駕駛將原有的算法模塊以神經(jīng)網(wǎng)絡(luò)進行替代，并連接形成端到端算法。該算法包含可見的算法模塊，可以輸出中間結(jié)果，當(dāng)進行故障回溯時可以一定程度上進行白盒化調(diào)整。在這個情況下，便不再需要工程師一行一行去敲代碼來撰寫規(guī)則了，決策規(guī)劃模塊從手寫規(guī)則向基于深度學(xué)習(xí)的模式進行轉(zhuǎn)變。

看起來有些抽象難懂，我們用大白話來講的話就是端到端了但又沒有完全端到端（也叫做模塊化的端到端），而所謂的白盒其實是相對于黑盒而言的，在后面隱式端到的部分我會用新手司機的例子來展開講，這里看不懂不要緊可以先行跳過。

獲得2023年CVPR最佳論文的UniAD模型就是采用的顯式端到端，如下圖所示，我們能夠明顯觀察到各個感知、預(yù)測規(guī)劃等模塊采用了向量的方式進行連接。

注：顯示端到端需要結(jié)合隱式端到端一起理解，不要孤立開；顯式端到端還可以劃分為感知端到端、決策規(guī)劃端到端

隱式端到端

隱式的端到端算法構(gòu)建整體化的基礎(chǔ)模型，利用海量的傳感器接收的外部環(huán)境數(shù)據(jù)，忽略中間過程，直接監(jiān)督最終控制信號進行訓(xùn)練。“技術(shù)原教旨主義者”認為如圖9這樣的傳感器信息一頭進入另一頭直接輸出控制信號的端到端才是真正的端到端，中間沒有任何額外模塊。

前面我們提過顯式端到端，通過比較圖8和圖9，能夠看出明顯的區(qū)別就是：隱式一體化的全局端到端中間沒有各個模塊，只有神經(jīng)網(wǎng)絡(luò)存在（傳感器就是它觀看世界的方式，中間的端到端系統(tǒng)就是它的完整的大腦，方向盤、剎車油門就是它的四肢）；而顯式端到端不同的地方在于它把中間完整的大腦按照模塊化的方式給分開了，雖然它不再需要編寫代碼去學(xué)習(xí)各種各樣的規(guī)則，已經(jīng)逐漸可以通過觀看老司機視頻的方式學(xué)習(xí)，但是，它依舊是分模塊去做的，所以批評的聲音會認為其不是真正意義上的端到端。

但這樣做也有它的好處，我們在前面提到過顯式端到端在一定程度上是白盒的，這是因為當(dāng)我們的車輛通過學(xué)習(xí)涌現(xiàn)出一些我們不期望的糟糕行為時，我們可以回溯究竟是哪個模塊的端到端出現(xiàn)了問題，而作為黑盒模型的隱式端到端則無從下手，因為它是完全一體化的，創(chuàng)造它的人也不知道它為什么會這樣做（這就是大家老在網(wǎng)上聽到的黑盒的大概意思）。

生成式AI大模型的端到端

ChatGPT為自動駕駛帶來了極大的啟發(fā)。它運用無需標注且成本低廉的海量數(shù)據(jù)進行訓(xùn)練，還具備人機互動以及回答問題的功能。自動駕駛可以效仿這種人機互動的模式，輸入環(huán)境方面的問題，它直接輸出駕駛決策，通過基于大語言模型的端到端來完成這些任務(wù)的訓(xùn)練運算。

AI大模型的主要作用有兩點，一是可以低成本生成海量接近真實的、包含Corner Case（自動駕駛過程中很少出現(xiàn)但可能導(dǎo)致危險的異常情況）的多樣化訓(xùn)練視頻數(shù)據(jù)，二是采用強化學(xué)習(xí)的方法來達到端到端的效果，從視頻感知到直接輸出駕駛決策。其核心就是模型可以通過自然數(shù)據(jù)自己推理學(xué)習(xí)因果，不再需要標注，模型整體的泛化能力得到大幅度提升，類似ChatGPT那樣，以自回歸的方式從上一個場景預(yù)測下一個場景。

讓我們用更簡單的話來講一下大模型對于端到端的重要性：

目前自動駕駛數(shù)據(jù)庫的價值極低：通常包括兩種數(shù)據(jù)，一種是正常行駛情況，千篇一律，占公開數(shù)據(jù)約 90%，如特斯拉影子模式。馬斯克承認這種數(shù)據(jù)價值較低，有效性可能僅萬分之一甚至更低。另一種就是事故數(shù)據(jù)即錯誤示范。用其做端到端訓(xùn)練，要么只能適應(yīng)有限工況，要么會出錯。端到端是黑盒子，無法解釋、只有相關(guān)性，需高質(zhì)量、多樣化的數(shù)據(jù)，訓(xùn)練結(jié)果才可能好點。

端到端需先解決數(shù)據(jù)問題，靠外界采集不太可行，因為成本高、效率低且缺乏多樣化和交互（自車與其他車輛、環(huán)境的交互，需昂貴人工標注），因此引入生成式AI大模型，它能制造海量多樣化的數(shù)據(jù)，減少人工標注，降低成本。

除此之外大語言模型端到端的核心邏輯是預(yù)測未來發(fā)展，本質(zhì)是習(xí)得因果關(guān)系。當(dāng)前神經(jīng)網(wǎng)絡(luò)與人類有差距，神經(jīng)網(wǎng)絡(luò)是概率輸出，知其然而不知其所以然；人類可通過觀察及無監(jiān)督交互學(xué)習(xí)物理世界運行常識，能判斷合理與不可能，通過少量試驗學(xué)習(xí)新技能并預(yù)測自身行為后果。而生成式AI端到端大模型就是希望神經(jīng)網(wǎng)絡(luò)也具備像人類這樣舉一反三的能力。

舉個例子來說：我們?nèi)祟愃緳C肯定會遇到一些沒有見過但可能有危險的情況，雖然沒有經(jīng)歷過，但是通過往的經(jīng)驗我們可以推斷出這個情況做什么才能保住小命（比如我們可能都沒有經(jīng)歷過路上出現(xiàn)一個霸王龍的現(xiàn)象，但當(dāng)霸王龍真的出現(xiàn)后，我們肯定會抓緊開車逃跑），通過過往經(jīng)驗推測并判斷行為合理與否，這就是我們希望大語言模型端到端做的事情，希望我們的車輛真正地像人一樣開車。

圖11.華為ads3.0本能安全網(wǎng)絡(luò)

2.1特斯拉FSD V12的前世

特斯拉智能駕駛的發(fā)展史在一定程度上反應(yīng)了自動駕駛行業(yè)最重要的一條路線的發(fā)展史，在2014年時，特斯拉發(fā)布第一代硬件Hardware 1.0，軟硬件均由Mobileye（一家以色列的汽車科技公司）提供，然而整體合作隨著2016年特斯拉“全球首宗自動駕駛致命事故”而結(jié)束（這里的核心原因在于Mobileye提供的是封閉黑盒方案，特斯拉不能修改其中的算法，而且還不能與Mobileye共享車輛數(shù)據(jù)）。

而且BEV+Transformer可以消除遮擋和重疊，實現(xiàn)“局部”端到端優(yōu)化，感知和預(yù)測都在同一個空間進行，輸出“并行”結(jié)果。

（3）Occupancy Network占用網(wǎng)絡(luò)——2022年特斯拉AI DAY公布

Occupancy占用網(wǎng)絡(luò)的加入讓BEV從2D變成了真正意義上的3D（如圖16所示），并且在加入時間流信息（基于光流法）之后，完成了由3D向4D的過度。

Occupancy Network占用網(wǎng)絡(luò)引入了高度信息，實現(xiàn)了真正的3D感知。在之前的版本中，車輛可以識別訓(xùn)練數(shù)據(jù)集中出現(xiàn)的物體，但對于未見過的物體則無法識別，而且即使認識該物體，在BEV中也只能判斷其占據(jù)一定程度的方塊面積，而無法獲取實際形狀。Occupancy網(wǎng)絡(luò)通過將車輛周圍的3D空間劃分成許多小方塊（體素），實現(xiàn)了對每個體素是否被占據(jù)的判斷（其核心任務(wù)不在于識別是什么，而是在于判斷每一個體素中是否有東西被占據(jù)）。

這就像你在迷霧中開車，雖然看不清楚前面是什么，但你大概知道前面有障礙物，你需要繞過去。

Occupancy Network也是通過Transformer來實現(xiàn)的，最終輸出Occupancy Volume（物體所占據(jù)的體積）和Occupancy flow（時間流）。也就是附近的物體占據(jù)了多大的體積，而時間流則是通過光流法來判斷的。