兩萬字簡述自動駕駛路徑規(guī)劃的常用算法
加入技術交流群
1. 1 自動駕駛系統(tǒng)分類自動駕駛系統(tǒng)沒有嚴謹?shù)姆诸?，但行業(yè)內(nèi)普遍喜歡將自動駕駛系統(tǒng)區(qū)別為模塊化的和端到端的，圖1所示為兩者系統(tǒng)的原理框圖對比。
圖1 模塊化和端到端自動駕駛系統(tǒng)原理簡圖
1.1.1 模塊化自動駕駛系統(tǒng)這是最經(jīng)典也是業(yè)界采用最多的一種自動駕駛系統(tǒng)，也是最簡明清爽的一種結(jié)構(gòu)，其作用是實時地求解出連續(xù)的控制輸出使得自動駕駛車輛可以安全地由初始位置行駛到目標位置?；谀K化的思想，將自動駕駛系統(tǒng)劃分為三層：環(huán)境感知層、決策規(guī)劃層和控制執(zhí)行層。每一層還可以劃分為不同的模塊，每個模塊還可以劃分為不同的子模塊……。環(huán)境感知層就像是人的眼睛和耳朵，負責對外部環(huán)境進行感知并將感知結(jié)果送入決策規(guī)劃層。決策規(guī)劃層就像是人的大腦，在接收到感知信息后進行分析、決策，并生成加減速、變道、直行等控制命令?？刂茍?zhí)行層就像人的雙手和雙腳，在接收到控制命令后控制執(zhí)行器完成加速、轉(zhuǎn)向等操作。模塊化自動駕駛系統(tǒng)中每一層都是關鍵和核心。但從實現(xiàn)自動駕駛功能的角度，環(huán)境感知層是基礎，決策規(guī)劃層是核心，控制執(zhí)行層是保障。作為核心的決策規(guī)劃層帶著自動駕駛往“更安全、更舒適、更高效”的道路上狂奔，畢竟小小的失誤小則影響乘坐舒適性、通行效率，大則影響人身財產(chǎn)安全。在模塊化自動駕駛系統(tǒng)中，不同團隊負責不同的模塊，可以實現(xiàn)更好的分工合作，從而提高開發(fā)效率。同時團隊內(nèi)部可以對負責的模塊進行充分的評估，了解各模塊的性能瓶頸所在，從而讓我們能對最后的0.1%的不足有更清晰的認知，技術的迭代、更新。缺點就是整個系統(tǒng)非常復雜、龐大、需要人工設計成百上千個模塊。二是對車載硬件計算能力要求高，如果越來越多的子模塊采用深度學習網(wǎng)絡，這將帶來災難性的計算需求爆炸。基于模塊化的自動駕駛系統(tǒng)，我們可能花10%的時間就實現(xiàn)了99.9%的問題，但我們還需要花90%的時間去解決最后0.1%的不足。這個系統(tǒng)的難度之大，已經(jīng)遠超一家公司的能力范圍，需要一個協(xié)作的生態(tài)。1.1.2 端到端自動駕駛系統(tǒng)術語端到端（End to End）來源于深度學習，指的是算法直接由輸入求解出所需的輸出，即算法直接將系統(tǒng)的輸入端連接到輸出端。2016年NVIDIA將端到端的深度學習技術應用在自動駕駛汽車之后，端到端自動駕駛迅速捕獲圈內(nèi)一眾大佬的芳心，各種demo更是層出不窮。所謂端到端自動駕駛是指車輛將傳感器采集到的信息（原始圖像數(shù)據(jù)、原始點云數(shù)據(jù)等），直接送入到一個統(tǒng)一的深度學習神經(jīng)網(wǎng)絡，神經(jīng)網(wǎng)絡經(jīng)過處理之后直接輸出自動駕駛汽車的駕駛命令（方向盤轉(zhuǎn)角、方向盤轉(zhuǎn)速、油門踏板開度、制動踏板開度等）。2016年NVIDIA發(fā)表了論文《End to End Learning for Self-Driving Cars》，拉開了端到端自動駕駛內(nèi)卷的序幕。論文首先展示了訓練數(shù)據(jù)的采集系統(tǒng)，如圖2所示。論文中只涉及了車道保持功能，因此訓練數(shù)據(jù)也只對攝像機的視頻數(shù)據(jù)和人類駕駛員操作方向盤的角度數(shù)據(jù)進行了采集。
圖4 訓練過的網(wǎng)絡用于從單中心前向攝像機中生成轉(zhuǎn)向命令
在端到端自動駕駛中，沒有人工設計的繁復規(guī)則，只需要極少的來自人類的訓練數(shù)據(jù)，深度學習神經(jīng)網(wǎng)絡就會學會駕駛。且不用關心有沒有高精地圖覆蓋、此時是行駛在高速主干路還是城區(qū)道路、道路上車道線有沒有缺失等。相比模塊化自動駕駛系統(tǒng)，端到端自動駕駛系統(tǒng)設計難度低，硬件成本小，還能借助數(shù)據(jù)的多樣性獲得不同場景下的泛用性。各方面條件得天獨厚，從理論層面看堪稱自動駕駛的終極夢想。然而端到端深度學習神經(jīng)網(wǎng)絡是一個完完全全的黑盒子，不具解釋分析性，可靠性、靈活性差，工程師們沒有辦法對它進行系統(tǒng)化的解釋分析，而是只能依靠推測和實驗進行調(diào)整。最終帶來的結(jié)果是安全難以得到保障，而自動駕駛最最關注的恰是安全。比如端到端自動駕駛系統(tǒng)下汽車做出一個汽車減速左轉(zhuǎn)的行動，工程師們無法確定這是因為汽車看到行人，還是因為看到較遠處的紅燈。但是，在模塊化的自動駕駛系統(tǒng)下，由于多個識別系統(tǒng)嵌套，相對好理解到底汽車所做的每一個舉動背后的邏輯。這也意味著，如果端到端系統(tǒng)出現(xiàn)問題時，工程師們并不能對其對癥下****，做出合理的應對。更多情況下甚至只能簡單向模型灌注更多的數(shù)據(jù)，希冀它能在進一步的訓練中“自行”解決問題。這也會大大降低端到端自動駕駛系統(tǒng)原本開發(fā)簡單的優(yōu)勢。1.2 決策規(guī)劃分層架構(gòu)決策規(guī)劃的任務，就是在對感知到的周邊物體的預測軌跡的基礎上，結(jié)合結(jié)合自動駕駛車輛的和當前位置，對車輛做出最合理的決策和控制。正如人的大腦又分為左腦和右腦、并負責不同的任務一樣，模塊化自動駕駛系統(tǒng)中決策規(guī)劃層也可以繼續(xù)細分為執(zhí)行不同任務的子層。而這一分層設計最早其實是源自2007年舉辦的DAPRA城市挑戰(zhàn)賽，比賽中多數(shù)參賽隊伍都將自動駕駛系統(tǒng)的決策規(guī)劃方式包括三層：全局路徑規(guī)劃層（Route Planning）、行為決策層（Behavioral Layer）和運動規(guī)劃層（Motion Planning），如圖5所示。
圖6 全局路徑規(guī)劃示例在全局路徑規(guī)劃的時候，也可以基于地圖精度和豐富度，提前考慮道路曲率半徑、坡度等信息，來避免搜索出部分參數(shù)超出ODD要求的全局路徑。但是高度隨機的交通參與者、高度動態(tài)的交通流以及高度復雜的道路結(jié)構(gòu)，全局路徑規(guī)劃是無法考慮周到的，因此還需要基于具體的行為決策進行后面的運動規(guī)劃，也就是局部路徑規(guī)劃。行為決策層在收到全局路徑后，結(jié)合感知環(huán)境信息、交通規(guī)則信息、車輛狀態(tài)信息、駕駛場景信息等，推導判斷下一分鐘或下一秒時刻的情況，作出車道保持、車輛跟隨、車道變換和制動避撞等的適合當前交通環(huán)境的駕駛行為。如圖7所示，自車在檢測到前方存在低速行駛車輛，且右側(cè)車道滿足變道條件后，作出向右變道的駕駛行為決策。
圖7 行為決策示例運動規(guī)劃層也被稱為局部路徑規(guī)劃層，與全局路徑規(guī)劃聚焦在分鐘到小時級別的規(guī)劃不同，運動規(guī)劃聚焦在毫秒級到秒級的規(guī)劃。規(guī)劃的時候，根據(jù)輸入的行為決策信息、結(jié)合車輛實時位姿信息、局部環(huán)境信息、全局路徑參考信息等，在“安全、舒適、效率”的精神引領下，規(guī)劃生成一條滿足特定約束條件的平滑軌跡軌跡（包括行駛軌跡、速度、方向等），并輸入給控制執(zhí)行層。如圖8所示，在車輛收到行為決策層的左變道指令后，主車基于各種信息規(guī)劃出幾條可行的路徑，如何規(guī)劃出最優(yōu)的路徑也是下文要介紹的內(nèi)容。
圖8 運動規(guī)劃示意圖全局路徑規(guī)劃與運動規(guī)劃作為兩個層級的不同規(guī)劃，現(xiàn)將其特點匯總為表1。表1 全局路徑規(guī)劃與運動規(guī)劃特點對比
正菜之前，我們先來了解一下圖（包括有向圖和無向圖）的概念。圖是圖論中的基本概念，用于表示物體與物體之間存在某種關系的結(jié)構(gòu)。在圖中，物體被稱為節(jié)點或頂點，并用一組點或小圓圈表示。節(jié)點間的關系稱作邊，可以用直線或曲線來表示節(jié)點間的邊。
如果給圖的每條邊規(guī)定一個方向，那么得到的圖稱為有向圖，其邊也稱為有向邊，如圖9所示。在有向圖中，與一個節(jié)點相關聯(lián)的邊有出邊和入邊之分，而與一個有向邊關聯(lián)的兩個點也有始點和終點之分。相反，邊沒有方向的圖稱為無向圖。
數(shù)學上，常用二元組G =（V，E）來表示其數(shù)據(jù)結(jié)構(gòu)，其中集合V稱為點集，E稱為邊集。對于圖6所示的有向圖，V可以表示為{A，B，C，D，E，F(xiàn)，G}，E可以表示為{<A，B>，<B，C>，<B，F(xiàn)>，<B，E>，<C，E>，<E，B>，<F，G>}。<A，B>表示從頂點A發(fā)向頂點B的邊，A為始點，B為終點。
在圖的邊中給出相關的數(shù)，稱為權。權可以代表一個頂點到另一個頂點的距離、耗費等，帶權圖一般稱為網(wǎng)。
在全局路徑規(guī)劃時，通常將圖10所示道路和道路之間的連接情況，通行規(guī)則，道路的路寬等各種信息處理成有向圖，其中每一個有向邊都是帶權重的，也被稱為路網(wǎng)（Route Network Graph）。
圖10 道路連接情況那么，全局路徑的規(guī)劃問題就變成了在路網(wǎng)中，搜索到一條最優(yōu)的路徑，以便可以盡快見到那個心心念念的她，這也是全局路徑規(guī)劃算法最樸素的愿望。而為了實現(xiàn)這個愿望，誕生了Dijkstra和A*兩種最為廣泛使用的全局路徑搜索算法。
2.1 Dijkstra算法
戴克斯特拉算法（Dijkstra’s algorithm）是由荷蘭計算機科學家Edsger W. Dijkstra在1956年提出，解決的是有向圖中起點到其他頂點的最短路徑問題。
假設有A、B、C、D、E、F五個城市，用有向圖表示如圖11，邊上的權重代表兩座城市之間的距離，現(xiàn)在我們要做的就是求出起點A城市到其它城市的最短距離。
圖11 五個城市構(gòu)建的有向圖用Dijkstra算法求解步驟如下：
（1）創(chuàng)建一個二維數(shù)組E來描述頂點之間的距離關系，如圖12所示。E[B][C]表示頂點B到頂點C的距離。自身之間的距離設為0，無法到達的頂點之間設為無窮大。
圖12 頂點之間的距離關系（2）創(chuàng)建一個一維數(shù)組Dis來存儲起點A到其余頂點的最短距離。一開始我們并不知道起點A到其它頂點的最短距離，一維數(shù)組Dis中所有值均賦值為無窮大。接著我們遍歷起點A的相鄰頂點，并將與相鄰頂點B和C的距離3（E[A][B]）和10（E[A][C]）更新到Dis[B]和Dis[C]中，如圖13所示。這樣我們就可以得出起點A到其余頂點最短距離的一個估計值。
圖13 Dis經(jīng)過一次遍歷后得到的值（3）接著我們尋找一個離起點A距離最短的頂點，由數(shù)組Dis可知為頂點B。頂點B有兩條出邊，分別連接頂點C和D。因起點A經(jīng)過頂點B到達頂點C的距離8（E[A][B] + E[B][C] = 3 + 5）小于起點A直接到達頂點C的距離10，因此Dis[C]的值由10更新為8。同理起點A經(jīng)過B到達D的距離5（E[A][B] + E[B][D] = 3 + 2）小于初始值無窮大，因此Dis[D]更新為5，如圖14所示。
圖14 Dis經(jīng)過第二次遍歷后得到的值（4）接著在剩下的頂點C、D、E、F中，選出里面離起點A最近的頂點D，繼續(xù)按照上面的方式對頂點D的所有出邊進行計算，得到Dis[E]和Dis[F]的更新值，如圖15所示。
圖15 Dis經(jīng)過第三次遍歷后得到的值（5）繼續(xù)在剩下的頂點C、E、F中，選出里面離起點A最近的頂點C，繼續(xù)按照上面的方式對頂點C的所有出邊進行計算，得到Dis[E]的更新值，如圖16所示。
圖16 Dis經(jīng)過第四次遍歷后得到的值（6）繼續(xù)在剩下的頂點E、F中，選出里面離起點A最近的頂點E，繼續(xù)按照上面的方式對頂點E的所有出邊進行計算，得到Dis[F]的更新值，如圖17所示。
圖17 Dis經(jīng)過第五次遍歷后得到的值（7）最后對頂點F所有點出邊進行計算，此例中頂點F沒有出邊，因此不用處理。至此，數(shù)組Dis中距離起點A的值都已經(jīng)從“估計值”變?yōu)榱恕按_定值”。
基于上述形象的過程，Dijkstra算法實現(xiàn)過程可以歸納為如下步驟：
（1）將有向圖中所有的頂點分成兩個集合P和Q，P用來存放已知距離起點最短距離的頂點，Q用來存放剩余未知頂點?？梢韵胂?，一開始，P中只有起點A。同時我們創(chuàng)建一個數(shù)組Flag[N]來記錄頂點是在P中還是Q中。對于某個頂點N，如果Flag[N]為1則表示這個頂點在集合P中，為1則表示在集合Q中。
（2）起點A到自己的最短距離設置為0，起點能直接到達的頂點N，Dis[N]設為E[A][N]，起點不能直接到達的頂點的最短路徑為設為∞。
（3）在集合Q中選擇一個離起點最近的頂點U（即Dis[U]最小）加入到集合P。并計算所有以頂點U為起點的邊，到其它頂點的距離。例如存在一條從頂點U到頂點V的邊，那么可以通過將邊U->V添加到尾部來拓展一條從A到V的路徑，這條路徑的長度是Dis[U]+e[U][V]。如果這個值比目前已知的Dis[V]的值要小，我們可以用新值來替代當前Dis[V]中的值。
（4）重復第三步，如果最終集合Q結(jié)束，算法結(jié)束。最終Dis數(shù)組中的值就是起點到所有頂點的最短路徑。
2.2 A*算法
1968年，斯坦福國際研究院的Peter E. Hart, Nils Nilsson以及Bertram Raphael共同發(fā)明了A*算法。A*算法通過借助一個啟發(fā)函數(shù)來引導搜索的過程，可以明顯地提高路徑搜索效率。
下文仍以一個實例來簡單介紹A*算法的實現(xiàn)過程。如圖18所示，假設小馬要從A點前往B點大榕樹底下去約會，但是A點和B點之間隔著一個池塘。為了能盡快提到達約會地點，給姑娘留下了一個守時踏實的好印象，我們需要給小馬搜索出一條時間最短的可行路徑。
圖18 約會場景示意圖A*算法的第一步就是簡化搜索區(qū)域，將搜索區(qū)域劃分為若干柵格。并有選擇地標識出障礙物不可通行與空白可通行區(qū)域。一般地，柵格劃分越細密，搜索點數(shù)越多，搜索過程越慢，計算量也越大；柵格劃分越稀疏，搜索點數(shù)越少，相應的搜索精確性就越低。
如圖19所示，我們在這里將要搜索的區(qū)域劃分成了正方形（當然也可以劃分為矩形、六邊形等）的格子，圖中藍色格子代表A點（小馬當前的位置），紫色格子代表B點（大榕樹的位置），灰色格子代表池塘。同時我們可以用一個二維數(shù)組S來表示搜素區(qū)域，數(shù)組中的每一項代表一個格子，狀態(tài)代表可通行和不可通行。
圖19 經(jīng)過簡化后的搜索區(qū)域接著我們引入兩個集合OpenList和CloseList，以及一個估價函數(shù)F = G + H。OpenList用來存儲可到達的格子，CloseList用來存儲已到達的格子。G代表從起點到當前格子的距離，H表示在不考慮障礙物的情況下，從當前格子到目標格子的距離。F是起點經(jīng)由當前格子到達目標格子的總代價，值越小，綜合優(yōu)先級越高。
G和H也是A*算法的精髓所在，通過考慮當前格子與起始點的距離，以及當前格子與目標格子的距離來實現(xiàn)啟發(fā)式搜索。對于H的計算，又有兩種方式，一種是歐式距離，一種是曼哈頓距離。
歐式距離用公式表示如下，物理上表示從當前格子出發(fā)，支持以8個方向向四周格子移動（橫縱向移動+對角移動）。
曼哈頓距離用公式表示如下，物理上表示從當前格子出發(fā)，支持以4個方向向四周格子移動（橫縱向移動）。這是A*算法最常用的計算H值方法，本文H值的計算也采用這種方法。
現(xiàn)在我們開始搜索，查找最短路徑。首先將起點A放入到OpenList中，并計算出此時OpenList中F值最小的格子作為當前方格移入到CloseList中。由于當前OpenList中只有起點A這個格子，所以將起點A移入CloseList，代表這個格子已經(jīng)檢查過了。
接著我們找出當前格子A上下左右所有可通行的格子，看它們是否在OpenList當中。如果不在，加入到OpenList中計算出相應的G、H、F值，并把當前格子A作為它們的父節(jié)點。本例子，我們假設橫縱向移動代價為10，對角線移動代價為14。
我們在每個格子上標出計算出來的F、G、H值，如圖20所示，左上角是F，左下角是G，右下角是H。通過計算可知S[3][2]格子的F值最小，我們把它從OpenList中取出，放到CloseList中。
圖20 第一輪計算后的結(jié)果接著將S[3][2]作為當前格子，檢查所有與它相鄰的格子，忽略已經(jīng)在CloseList或是不可通行的格子。如果相鄰的格子不在OpenList中，則加入到OpenList，并將當前方格子S[3][2]作為父節(jié)點。
已經(jīng)在OpenList中的格子，則檢查這條路徑是否最優(yōu)，如果非最優(yōu)，不做任何操作。如果G值更小，則意味著經(jīng)由當前格子到達OpenList中這個格子距離更短，此時我們將OpenList中這個格子的父節(jié)點更新為當前節(jié)點。
對于當前格子S[3][2]來說，它的相鄰5個格子中有4個已經(jīng)在OpenList，一個未在。對于已經(jīng)在OpenList中的4個格子，我們以它上面的格子S[2][2]舉例，從起點A經(jīng)由格子S[3][2]到達格子S[2][2]的G值為20（10+10）大于從起點A直接沿對角線到達格子S[2][2]的G值14。顯然A經(jīng)由格子S[3][2]到達格子S[2][2]不是最優(yōu)的路徑。當把4個已經(jīng)在OpenList 中的相鄰格子都檢查后，沒有發(fā)現(xiàn)經(jīng)由當前方格的更好路徑，因此我們不做任何改變。
對于未在OpenList的格子S[2][3]（假設小馬可以斜穿墻腳），加入OpenList中，并計算它的F、G、H值，并將當前格子S[3][2]設置為其父節(jié)點。經(jīng)歷這一波騷操作后，OpenList中有5個格子，我們需要從中選擇F值最小的那個格子S[2][3]，放入CloseList中，并設置為當前格子，如圖21所示。
圖21 第二輪計算后的結(jié)果重復上面的故事，直到終點也加入到OpenList中。此時我們以當前格子倒推，找到其父節(jié)點，父節(jié)點的父節(jié)點……，如此便可搜索出一條最優(yōu)的路徑，如圖22中紅色圓圈標識。
圖22 最后計算得到的結(jié)果基于上述形象的過程，A*算法實現(xiàn)過程可以歸納為如下步驟：
（1）將搜索區(qū)域按一定規(guī)則劃分，把起點加入OpenList。
（2）在OpenList中查找F值最小的格子，將其移入CloseList，并設置為當前格子。
（3）查找當前格子相鄰的可通行的格子，如果它已經(jīng)在OpenList中，用G值衡量這條路徑是否更好。如果更好，將該格子的父節(jié)點設置為當前格子，重新計算F、G值，如果非更好，不做任何處理；如果不在OpenList中，將它加入OpenList中，并以當前格子為父節(jié)點計算F、G、H值。
（4）重復步驟（2）和步驟（3），直到終點加入到OpenList中。
2.3 兩種算法比較
Dijkstra算法的基本思想是“貪心”，主要特點是以起點為中心向周圍層層擴展，直至擴展到終點為止。通過Dijkstra算法得出的最短路徑是最優(yōu)的，但是由于遍歷沒有明確的方向，計算的復雜度比較高，路徑搜索的效率比較低。且無法處理有向圖中權值為負的路徑最優(yōu)問題。
A*算法將Dijkstra算法與廣度優(yōu)先搜索（Breadth-First-Search，BFS）算法相結(jié)合，并引入啟發(fā)函數(shù)（估價函數(shù)），大大減少了搜索節(jié)點的數(shù)量，提高了搜索效率。但是A*先入為主的將最早遍歷路徑當成最短路徑，不適用于動態(tài)環(huán)境且不太適合高維空間，且在終點不可達時會造成大量性能消耗。
圖24是兩種算法路徑搜索效率示意圖，左圖為Dijkstra算法示意圖，右圖為A*算法示意圖，帶顏色的格子表示算法搜索過的格子。由圖23可以看出，A*算法更有效率，手術的格子更少。
03行為決策常用算法
作為L4級自動駕駛的優(yōu)秀代表Robotaxi，部分人可能已經(jīng)在自己的城市欣賞過他們不羈的造型，好奇心強烈的可能都已經(jīng)體驗過他們的無人“推背”服務。作為一個占有天時地利優(yōu)勢的從業(yè)人員，我時常在周末選一個人和的時間，叫個免費Robotaxi去超市買個菜。
在基于規(guī)則的方法中，通過對自動駕駛車輛的駕駛行為進行劃分，并基于感知環(huán)境、交通規(guī)則等信息建立駕駛行為規(guī)則庫。自動駕駛車輛在行駛過程中，實時獲取交通環(huán)境、交通規(guī)則等信息，并與駕駛行為規(guī)則庫中的經(jīng)驗知識進行匹配，進而推理決策出下一時刻的合理自動駕駛行為。正如全局路徑規(guī)劃的前提是地圖一樣，自動駕駛行為分析也成為基于規(guī)則的行為決策的前提。不同應用場景下的自動駕駛行為不完全相同，以高速主干路上的L4自動駕駛卡車為例，其自動駕駛行為可簡單分解為單車道巡航、自主變道、自主避障三個典型行為。單車道巡航是卡車L4自動駕駛系統(tǒng)激活后的默認狀態(tài)，車道保持的同時進行自適應巡航。此駕駛行為還可以細分定速巡航、跟車巡航等子行為，而跟車巡航子行為還可以細分為加速、加速等子子行為，真是子子孫孫無窮盡也。自主變道是在變道場景（避障變道場景、主干路變窄變道場景等）發(fā)生及變道空間（與前車和后車的距離、時間）滿足后進行左/右變道。自主避障是在前方出現(xiàn)緊急危險情況且不具備自主變道條件時，采取的緊急制動行為，避免與前方障礙物或車輛發(fā)生碰撞。其均可以繼續(xù)細分，此處不再展開。上面列舉的駕駛行為之間不是獨立的，而是相互關聯(lián)的，在一定條件滿足后可以進行實時切換，從而支撐起L4自動駕駛卡車在高速主干路上的自由自在?，F(xiàn)將例子中的三種駕駛行為之間的切換條件簡單匯總?cè)绫?，真實情況比這嚴謹、復雜的多，此處僅為后文解釋基于規(guī)則的算法所用。
表2 狀態(tài)間的跳轉(zhuǎn)事件
圖24 狀態(tài)跳轉(zhuǎn)示意圖基于有限狀態(tài)機理論構(gòu)建的智能車輛自動駕駛行為決策系統(tǒng)，可將復雜的自動駕駛過程分解為有限個自動駕駛駕駛行為，邏輯推理清晰、應用簡單、實用性好等特點，使其成為當前自動駕駛領域目前最廣泛使用的行為決策方法。但該方法沒有考慮環(huán)境的動態(tài)性、不確定性以及車輛運動學以及動力學特性對駕駛行為決策的影響，因此多適用于簡單場景下，很難勝任具有豐富結(jié)構(gòu)化特征的城區(qū)道路環(huán)境下的行為決策任務。3.2 基于學習的方法上文介紹的基于規(guī)則的行為決策方法依靠專家經(jīng)驗搭建的駕駛行為規(guī)則庫，但是由于人類經(jīng)驗的有限性，智能性不足成為基于規(guī)則的行為決策方法的最大制約，復雜交通工況的事故率約為人類駕駛員的百倍以上。鑒于此，科研工作者開始探索基于學習的方法，并在此基礎上了誕生了數(shù)據(jù)驅(qū)動型學習方法和強化學習方法。數(shù)據(jù)驅(qū)動型學習是一種依靠自然駕駛數(shù)據(jù)直接擬合神經(jīng)網(wǎng)絡模型的方法，首先用提前采集到的老司機開車時的自然駕駛數(shù)據(jù)訓練神經(jīng)網(wǎng)絡模型，訓練的目標是讓自動駕駛行為決策水平接近老司機。而后將訓練好的算法模型部署到車上，此時車輛的行為決策就像老司機一樣，穿行在大街小巷。讀者可參見端到端自動駕駛章節(jié)中介紹的NVIDIA demo案例。強化學習方法通過讓智能體（行為決策主體）在交互環(huán)境中以試錯方式運行，并基于每一步行動后環(huán)境給予的反饋（獎勵或懲罰），來不斷調(diào)整智能體行為，從而實現(xiàn)特定目的或使得整體行動收益最大。通過這種試錯式學習，智能體能夠在動態(tài)環(huán)境中自己作出一系列行為決策，既不需要人為干預，也不需要借助顯式編程來執(zhí)行任務。強化學習可能不是每個人都聽過，但DeepMind開發(fā)的圍棋智能AlphaGo（阿爾法狗），2016年3月戰(zhàn)勝世界圍棋冠軍李世石，2017年5月后又戰(zhàn)勝圍棋世界排名第一柯潔的事，大家應該都有所耳聞。更過分的是，半年后DeepMind在發(fā)布的新一代圍棋智能AlphaZero（阿爾法狗蛋），通過21天的閉關修煉，就戰(zhàn)勝了家族出現(xiàn)的各種狗子們，成功當選狗蛋之王。而賦予AlphaGo及AlphaZero戰(zhàn)勝人類棋手的魔法正是強化學習，機器學習的一種。機器學習目前有三大派別：監(jiān)督學習、無監(jiān)督學習和強化學習。監(jiān)督學習算法基于歸納推理，通過使用有標記的數(shù)據(jù)進行訓練，以執(zhí)行分類或回歸；無監(jiān)督學習一般應用于未標記數(shù)據(jù)的密度估計或聚類；強化學習自成一派，通過讓智能體在交互環(huán)境中以試錯方式運行，并基于每一步行動后環(huán)境給予的反饋（獎勵或懲罰），來不斷調(diào)整智能體行為，從而實現(xiàn)特定目的或使得整體行動收益最大。通過這種試錯式學習，智能體能夠在動態(tài)環(huán)境中自己作出一系列決策，既不需要人為干預，也不需要借助顯式編程來執(zhí)行任務。這像極了馬戲團訓練各種動物的過程，馴獸師一個抬手動作（環(huán)境），動物（智能體）若完成相應動作，則會獲得美味的食物（正反饋），若沒有完成相應動作，食物可能換成了皮鞭（負反饋）。時間一久，動物就學會基于馴獸師不同的手勢完成不同動作，來使自己獲得最多數(shù)量的美食。大道至簡，強化學習亦如此。一個戰(zhàn)勝人類圍棋冠軍的“智能”也僅由五部分組成：智能體（Agent）、環(huán)境（Environment）、狀態(tài)（State）、行動（Action）和獎勵（Reward）。強化學習系統(tǒng)架構(gòu)如圖25所示，結(jié)合自動駕駛代客泊車中的泊入功能，我們介紹一下各組成的定義及作用。
圖25 強化學習系統(tǒng)架構(gòu)代客泊車泊入功能的追求非常清晰，就是在不發(fā)生碰撞的前提下，實現(xiàn)空閑停車位的快速泊入功能。這個過程中，承載強化學習算法的控制器（域控制器/中央計算單元）就是智能體，也是強化學習訓練的主體。智能體之外的整個泊車場景都是環(huán)境，包括停車場中的立柱、車輛、行人、光照等。訓練開始后，智能體實時從車載傳感器（激光雷達、相機、IMU、超聲波雷達等）讀取環(huán)境狀態(tài)，并基于當前的環(huán)境狀態(tài)，采取相應的轉(zhuǎn)向、制動和加速行動。如果基于當前環(huán)境狀態(tài)采用的行動，是有利于車輛快速泊入，則智能體會得到一個獎勵，反之則會得到一個懲罰。在獎勵和懲罰的不斷刺激下，智能體學會了適應環(huán)境，學會了下次看到空閑車位時可以一把倒入，學會了面對不同車位類型時采取不同的風騷走位。從上述例子，我們也可以總結(jié)出訓練出一個優(yōu)秀的“智能”，大概有如下幾個步驟：（1）創(chuàng)建環(huán)境。定義智能體可以學習的環(huán)境，包括智能體和環(huán)境之間的接口。環(huán)境可以是仿真模型，也可以是真實的物理系統(tǒng)。仿真環(huán)境通常是不錯的起點，一是安全，二是可以試驗。（2）定義獎勵。指定智能體用于根據(jù)任務目標衡量其性能的獎勵信號，以及如何根據(jù)環(huán)境計算該信號?？赡苄枰?jīng)過數(shù)次迭代才能實現(xiàn)正確的獎勵塑造。（3）創(chuàng)建智能體。智能體由策略和訓練算法組成，因此您需要：（a）選擇一種表示策略的方式（例如，使用神經(jīng)網(wǎng)絡或查找表）。思考如何構(gòu)造參數(shù)和邏輯，由此構(gòu)成智能體的決策部分。
（b）選擇合適的訓練算法。大多數(shù)現(xiàn)代強化學習算法依賴于神經(jīng)網(wǎng)絡，因為后者非常適合處理大型狀態(tài)/動作空間和復雜問題。
（4）訓練和驗證智能體。設置訓練選項（如停止條件）并訓練智能體以調(diào)整策略。要驗證經(jīng)過訓練的策略，最簡單的方法是仿真。（5）部署策略。使用生成的 C/C++ 或 CUDA 代碼等部署經(jīng)過訓練的策略表示。此時無需擔心智能體和訓練算法；策略是獨立的決策系統(tǒng)。強化學習方法除了具有提高行為決策智能水平的能力，還具備合并決策和控制兩個任務到一個整體、進行統(tǒng)一求解的能力。將決策與控制進行合并，這樣既發(fā)揮了強化學習的求解優(yōu)勢，又能進一步提高自動駕駛系統(tǒng)的智能性。實際上，人類駕駛員也是具有很強的整體性的，我們很難區(qū)分人類的行為中哪一部分是自主決策，哪一部分是運動控制?，F(xiàn)階段強化學習方法的應用還處在摸索階段，應用在自動駕駛的潛力還沒有被完全發(fā)掘出來，這讓我想起了母校的一句校歌：“能不奮勉乎吾曹？”04運動規(guī)劃常用算法有了全局路徑參考信息，有了局部環(huán)境信息了，有了行為決策模塊輸入的決策信息，下一步自然而然的就要進行運動規(guī)劃，從而生成一條局部的更加具體的行駛軌跡，并且這條軌跡要滿足安全性和舒適性要求。
考慮到車輛是一個具有巨大慣性的鐵疙瘩且沒有瞬間移動的功能，如果僅考慮瞬時狀態(tài)的行駛軌跡，不規(guī)劃出未來一段時間有前瞻性的行駛軌跡，那么很容易造成一段時間后無解。因此，運動規(guī)劃生成的軌跡是一種由二維空間和一維時間組成的三維空間中的曲線，是一種偏實時的路徑規(guī)劃。運動規(guī)劃的第一步往往采用隨機采樣算法，即走一步看一步，不斷更新行駛軌跡。代表算法是基于采樣的方法：PRM、RRT、Lattice。這類算法通過隨機采樣的方式在地圖上生成子節(jié)點，并與父節(jié)點相連，若連線與障礙物無碰撞風險，則擴展該子節(jié)點。重復上述步驟，不斷擴展樣本點，直到生成一條連接起點到終點的路徑。4.1 PRM算法概率路標法 (Probabilistic Road Maps, PRM），是一種經(jīng)典的采樣方法，由Lydia E.等人在1996年提出。PRM主要包含三個階段，一是采樣階段，二是碰撞檢測階段，三是搜索階段。圖26為已知起點A和終點B的地圖空間，黑色空間代表障礙物，白色空間代表可通行區(qū)域。在采樣階段中，PRM首先在地圖空間進行均勻的隨即采樣，也就是對地圖進行稀疏采樣，目的是將大地圖簡化為較少的采樣點。
圖26 PRM工作原理示意圖（來源：https://mp.weixin.qq.com/s/WGOUf7g0C4Od4X9rnCfqxA）在碰撞檢測階段，剔除落在障礙物上的采樣點，并將剩下的點與其一定距離范圍內(nèi)的點相連，同時刪除穿越障礙物的連線，從而構(gòu)成一張無向圖。在搜索階段，利用全局路徑規(guī)劃算法章節(jié)介紹的搜索算法（Dijkstra、A*等）在無向圖中進行搜索，從而找出一條起點A到終點B之間的可行路徑。算法步驟可以總結(jié)為：（1）構(gòu)造無向圖G =（V，E），其中V代表隨機采樣的點集，E代表兩采樣點之間所有可能的無碰撞路徑，G初始狀態(tài)為空。（2）隨機撒點，并選取一個無碰撞的點c(i)加入到V中。（3）定義距離r，如果c(i)與V中某些點的距離小于r，則將V中這些點定義為c(i)的鄰域點。（4）將c(i)與其鄰域點相連，生成連線t，并檢測連線t是否與障礙物發(fā)生碰撞，如果無碰撞，則將t加入E中。（5）重復步驟2-4，直到所有采樣點（滿足采樣數(shù)量要求）均已完成上述步驟。（6）采用圖搜索算法對無向圖G進行搜索，如果能找到起始點A到終點B的路線，說明存在可行的行駛軌跡。PRM算法相比基于搜索的算法，簡化了環(huán)境、提高了效率。但是在有狹窄通道場景中，很難采樣出可行路徑，效率會大幅降低。4.2 RRT快速探索隨機樹（Rapidly Exploring Random Trees，RRT），是Steven M. LaValle和James J. Kuffner Jr.在1998年提出的一種基于隨機生長樹思想實現(xiàn)對非凸高維空間快速搜索的算法。與PRM相同的是兩者都是基于隨機采樣的算法，不同的是PRM最終生成的是一個無向圖，而RRT生成的是一個隨機樹。RRT的最顯著特征就是具備空間探索的能力，即從一點向外探索拓展的特征。RRT分單樹和雙樹兩種類型，單樹RRT將規(guī)起點作為隨機樹的根節(jié)點，通過隨機采樣、碰撞檢測的方式為隨機樹增加葉子節(jié)點，最終生成一顆隨機樹。而雙樹RRT則擁有兩顆隨機樹，分別以起點和終點為根節(jié)點，以同樣的方式進行向外的探索，直到兩顆隨機樹相遇，從而達到提高規(guī)劃效率的目的。下面以圖27所示的地圖空間為例介紹單樹RRT算法的實現(xiàn)過程。在此地圖空間中，我們只知道起點A和終點B以及障礙物的位置（黑色的框）。
圖27 RRT算法舉例的地圖空間
對于單樹RRT算法，我們將起點A設置為隨機樹的根，并生成一個隨機采樣點，如圖27所示，隨機采樣點有下面這幾種情況。（1）隨機采樣點1落在自由區(qū)域中，但是根節(jié)點A和隨機采樣點1之間的連線存在障礙物，無法通過碰撞檢測，采樣點1會被舍棄，重新再生成隨機采樣點。（2）隨機采樣點2落在障礙物的位置，采樣點2也會被舍棄，重新再生成隨機采樣點。（3）隨機采樣點3落在自由區(qū)域，且與根節(jié)點A之間的連線不存在障礙物，但是超過根節(jié)點的步長限制。但此時這個節(jié)點不會被簡單的舍棄點，而是會沿著根節(jié)點和隨機采樣點3的連線，找出符合步長限制的中間點，將這個中間點作為新的采樣點，也就是圖28中的4。
圖28 不同隨機采樣點舉例
接著我們繼續(xù)生成新的隨機采樣點，如果新的隨機采樣點位于自由區(qū)域，那么我們就可以遍歷隨機樹中已有的全部節(jié)點，找出距離新的隨機采樣點最近的節(jié)點，同時求出兩者之間的距離，如果滿足步長限制的話，我們將接著對這兩個節(jié)點進行碰撞檢測，如果不滿足步長限制的話，我們需要沿著新的隨機采樣點和最近的節(jié)點的連線方向，找出一個符合步長限制的中間點，用來替代新的隨機采樣點。最后如果新的隨機采樣點和最近的節(jié)點通過了碰撞檢測，就意味著二者之間存在邊，我們便可以將新的隨機采樣點添加進隨機樹中，并將最近的點設置為新的隨機采樣點的父節(jié)點。重復上述過程，直到新的隨機采樣點在終點的步長限制范圍內(nèi)，且滿足碰撞檢測。則將新的隨機采樣點設為終點B的父節(jié)點，并將終點加入隨機樹，從而完成迭代，生成如圖29所示的完整隨機樹。
圖29 隨機樹結(jié)算結(jié)果示例
相比PRM，RRT無需搜索步驟、效率更高。通過增量式擴展的方式，找到路徑后就立即結(jié)束，搜索終點的目的性更強。但是RRT作為一種純粹的隨機搜索算法，對環(huán)境類型不敏感，當?shù)貓D空間中存在狹窄通道時，因被采樣的概率低，導致算法的收斂速度慢，效率會大幅下降，有時候甚至難以在有狹窄通道的環(huán)境找到路徑。圖30展示了 RRT應對存在狹窄通道地圖空間時的兩種表現(xiàn)，一種是RRT很快就找到了出路，一種是一直被困在障礙物里面。
圖30 RRT面對狹窄通道時的表現(xiàn)（來源：https://mp.weixin.qq.com/s/O8aK2RwOUXtcPSKQbDViiQ）圍繞如何更好的“進行隨機采樣”、“定義最近的點”以及“進行樹的擴展”等方面，誕生了多種改進型的算法，包括雙樹RRT-Connect（雙樹）、lazy-RRT, RRT-Extend等。PRM和RRT都是一個概率完備但非最優(yōu)的路徑規(guī)劃算法，也就是只要起點和終點之間存在有效的路徑，那么只要規(guī)劃的時間足夠長，采樣點足夠多，必然可以找到有效的路徑。但是這個解無法保證是最優(yōu)的。采用PRM和RRT等隨機采樣算法生成的行駛軌跡，大多是一條條線段，線段之間的曲率也不不連續(xù)，這樣的行駛軌跡是不能保證舒適性的，所以還需要進一步進行曲線平滑、角度平滑處理。代表算法是基于曲線插值的方法：RS曲線、Dubins曲線、多項式曲線、貝塞爾曲線和樣條曲線等。所有基于曲線插值方法要解決的問題就是：在圖31上的若干點中，求出一條光滑曲線盡可能逼近所有點。下文以多項式曲線和貝塞爾曲線為例，介紹曲線插值算法的示例。
圖31 曲線插值方法要解決的問題描述
4.3 多項式曲線
找到一條曲線擬合所有的點，最容易想到的方法就是多項式曲線。常用的有三階多項式曲線、五階多項式曲線和七階多項式曲線。理論上只要多項式的階數(shù)足夠高，就可以擬合各種曲線。但從滿足需求和工程實現(xiàn)的角度，階數(shù)越低越好。車輛在運動規(guī)劃中，舒適度是一個非常重要的指標，在物理中衡量舒適性的物理量為躍度(Jerk)，它是加速度的導數(shù)。Jerk的絕對值越小意味著加速度的變化越平緩，加速度的變化越平緩意味著越舒適。而五次多項式曲線則被證明是在運動規(guī)劃中可以使Jerk比較小的多項式曲線。以圖30所示換道場景為例，已知Frenet坐標系下?lián)Q道起點和終點的六個參數(shù)s0、v0、a0、st、vt、at，采用橫縱向解耦分別進行運動規(guī)劃的方法，可得橫向位置x(t)和縱向位置y(t)關于時間t的五次多項式表達式。
圖32 二階貝塞爾曲線示例接著我們以每條直線的起點開始，向各自的終點按比例t取點，如圖中的A和B。隨后我們將A和B相連得到一條直線，也按相同的比例t取點，便可得到C點，這也是二階貝塞爾曲線在比例為t時會經(jīng)過的點。比列t滿足如下的公式。
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權請聯(lián)系工作人員刪除。
