愛伊米

自動駕駛模擬測試的兩大痛點問題

自動駕駛模擬測試是自動駕駛車輛商業化落地的一道重要關卡,模擬測試技術的發展進步將決定自動駕駛落地的時間點。

本篇文章是《九章智駕》模擬類系列的第四篇,前三篇分別是:《一文讀懂自動駕駛模擬測試技術現狀》、《自動駕駛模擬類初創企業資訊梳理》、《一文讀懂自動駕駛模擬測試場景與場景庫》。模擬測試對自動駕駛的重要性不言而喻,筆者寫這些內容希望能夠拋轉引玉。更希望能夠作為一個“吶喊者”讓更多的人去關注和重視自動駕駛模擬測試這個領域。

自動駕駛系統現階段最大的問題是“落地應用難”,之所以“落地應用難”是因為自動駕駛系統的安全問題尚未得到妥善的解決。解決系統安全問題就需要進行大量的虛擬模擬測試和實車道路測試,而模擬測試能夠大大加快系統的測試驗證程序,因此,如何高效、可信地對自動駕駛進行模擬測試評價是自動駕駛系統商業化落地的關鍵。

接下來講一下目前自動駕駛模擬測試的兩大痛點問題:模擬測試的置信度和模擬測試場景的覆蓋度問題。

一、

置信度存疑

1。

模擬軟體本身的置信度問題

現在雖然很多模擬平臺都具有感測器建模模擬、車輛動力學建模模擬以及交通場景建模模擬的能力,但模擬模型大多都是建立在理想條件的情況下,模擬模擬器模擬出來的結果的置信度到底怎麼樣,還沒有具體可量化的指標去評價。

以鐳射雷達模擬為例,鐳射雷達的反射強度與障礙物的距離、鐳射發射角度以及障礙物本身的物理材質相關。鐳射雷達探測範圍大,發射出去的鐳射線束又十分密集,且在環境中存在多次反射、遮蔽等影響,計算返回的鐳射束比較複雜,很難較為真實地對鐳射雷達訊號的回波進行模擬。現有鐳射雷達模型,大多是根據每一種物理材質的鐳射反射率直接計算回波訊號。如此計算的話,與現實中的回波訊號肯定是存在一定的誤差。

若是考慮到感測器硬體或軟體自身造成雷達的噪點問題,以及雨雪、水漬、灰塵等這些干擾雷達工作效能的環境因素,導致雷達效能減弱或者無法使用的現象。這些問題或現象更是鐳射雷達模擬模擬的難題。

2。

模擬平臺復現和泛化出場景的置信度問題

目前通常採用的手段是,基於真實資料透過模擬模擬器去復現和泛化出更多的虛擬模擬測試場景。那麼,這些測試場景與真實場景的擬合度能達到什麼水平?

什麼是場景的泛化呢?

即將路採的真實場景資料進行特徵提取、資料標註等操作後,模擬平臺依據場景特徵元素的關聯關係或者人工經驗等對場景元素進行重新組合或推演歸納處理,從而衍生出更多合理的新場景。

真實場景的泛化存在兩個問題:

一是泛化的方向是否符合統計學意義與測試需求。當前的自動駕駛企業都未明確提出其動態場景相對於真實世界的統計學意義。確定模擬場景與真實世界在統計上的對映關係是亟待解決的難題。

二是泛化過程中真實性損失,例如,對密集交通流案例進行泛化,更改一條車輛軌跡後,在實際中會對周邊多條軌跡產生影響並擴散開來,單車的行駛擾動有時會造成整個交通流的失穩,現在的泛化技術很難重現這種場景。

復現和泛化出來的虛擬模擬環境與真實環境之間必然存在差異,這種差異會對測試結果造成多大的影響,是否在可接受的範圍內?可惜現在也還沒有具體可量化的KPI指標去評價這些測試場景的置信度。

3。

測試結果評價標準的置信度問題

目前傳統的測試手段還是以硬體測試(包括HIL硬體在環、VIL車輛在環)或真實道路測試為主。有調查結果顯示,對於純虛擬模擬測試(如MIL模型在環/SIL軟體在環),很多客戶認為驗證出來的資料不是特別可靠,即真實性沒有保證。

一位模擬專業人士曾在他的文章裡講到過:“在自動駕駛模擬中,是很難有‘引數標定’這個過程的,因為‘真實試驗’對安全員有高危性,並且很難執行,因此也就很難調整模擬的引數,沒有標定好的引數,又很難預測真實結果,就像個死迴圈。試驗-模擬-試驗的迴路難通,僅靠經驗式的模擬,結果如何讓人信服?”

是呀,由於“試驗-模擬-試驗”的迴路不通,結果的好壞比較難判定,客戶對模擬結果的真實性存在疑問也就在所難免了。那麼,又該如何提高自動駕駛模擬測試系統的置信度呢?現在雖然還沒有完美的方案,但相關企業已經開始採用不同的方案來提升模擬系統的置信度水平了。

騰訊

的自動駕駛模擬平臺TAD-Sim採用遊戲渲染+真實資料雙擎驅動的方式,透過利用大量真實路採資料訓練交通流AI模型,再結合遊戲渲染引擎技術,自動構建互動性較強,貼近真實世界的測試場景。

百度

採用增強現實的自動駕駛模擬系統-AADS,透過使用車輛搭載的鐳射雷達和高畫質相機掃描街景,獲取車輛周圍靜態的場景影象和車流移動的動態軌跡資料;利用這些素材,系統再應用增強現實技術直接、自動地建立高逼真度的模擬影象,使得創建出的虛擬場景更加接近真實場景。

51 WORLD

採用數字孿生測試技術來增加模擬測試結果的置信度,即利用數字孿生技術構建一個與真實場景一致的虛擬場景模型。實車在真實場景測試的過程中,會以車輛在環方式將車輛實時狀態資料實時對映到虛擬場景中,同時虛擬場景的測試資料和評價結果也會反饋給現實世界,作為指導和最佳化現實世界中真實車輛進行決策的重要依據。

二、

場景的覆蓋度問題

1。

“Corner Case”難以窮盡

現在自動駕駛模擬測試另一大痛點便是如何構建一個高覆蓋度水平的場景庫(覆蓋幾乎所有的“Corner Case”),若有這樣完美的場景庫,系統只需把場景庫中所涵蓋的測試用例都驗證一遍,滿足要求後便能夠達標。

對自動駕駛模擬測試來講,最大的挑戰在於去收集到所有Corner Case,來覆蓋不同的道路環境、天氣環境以及交通狀況,這幾乎是不可能完成的任務。單從收集自動駕駛Corner Case 這方面來講,Waymo的實車路測里程比較長,從統計學角度講,它碰到的Corner Case相對就多一些(截止到2020年,模擬系統裡的模擬測試里程累計超過150億英里,實際道路測試里程累計超過2000萬英里)。儘管如此,其工程師們仍然發現有層出不窮的新長尾場景待解決。

其中國外一遍論文《Corner Cases for Visual Perception in Automated Driving: Some Guidance on Detection Approaches》,對自動駕駛視覺感知中的Corner Cases進行分析,並提出了一些方法論。論文中根據檢測出“corner cases”的複雜程度,由淺到深,由易到難劃分了5個級別:

a。

Pixel level:

由資料上的錯誤造成;比如風擋上出現了汙垢遮擋了攝像頭的部分視野,或者夜裡對向駛來的車輛開著的大燈讓攝像頭出現眩光等場景,導致攝像頭採集的資料出現錯誤。

b。

Domain level

資料表現出的對世界的觀測產生了整體偏移;比如冬天到處覆蓋著白色積雪的場景。

c。

Object level:

資料中存在未曾“見”過的例項;比如在居民區的道路中央出現了一隻駱駝。

d。

Scene level:

單幀資料中出現了與預期不一致的場景模式;表現為熟知的物體出現了大量未知的聚集或者熟知的物體出現在異常的位置;比如大風過後,倒在路中間的樹。

e。

Scenario level:

連續幀資料中出現了與預期不一致的場景模式;比如“鬼探頭”,旁邊靜止的車輛前突然出現一個行人。

對於不同級別的Corner Case 需要採用不同的方法,對於前3個級別相對簡單的場景型別:pixel level、domain level、object level,可以抽取特徵元素透過引數重組的方式來構建;然而對於Scene level和Scenario level這兩種複雜級別的場景,數量也比較龐大,很難完全窮舉。所以最好的辦法還是需要進一步提升系統的感知能力,需要透過深度學習方法讓系統從“感知”進化到“認知”,讓系統也具備接近人一樣的知識推理和泛化能力。

機器學習是解決自動駕駛長尾問題的一種有效工具。利用Machine Learning技術可以實現從資料採集、標註、訓練、車端部署的閉環迴圈流程,從而實現Case的不斷積累,模型的不斷完善。但機器學習模型不能解決所有的問題,可透過採用機器學習和非機器學習混合系統,利用專家系統來彌補機器學習的不足。

對於消費者來說,是否使用自動駕駛汽車,安全肯定是其考慮的第一位的要素。同樣,對於主機廠來說,能夠讓測試車輛能夠應對各種“Corner Case”,進而保證量產車輛上路後的安全性也是他們的立命之本。

2

.

“Corner Case”的地域性特徵

“Corner Case”的地域性特徵主要表現在測試場景在不同國家和地區存在較大的不同。因為各個國家的道路環境、交通習慣、交通規則以及駕駛習慣都可能存在較大的差異。

a。

道路環境不同:

不同國家的道路設計規範不同,如道路結構、交通標誌、交通訊號燈等形態各異。

b。

交通狀況不同:

在中國的城市道路上,人車混流的交通狀況隨處可見。無論在哪個城市的大街上,你都能看到快遞小哥、外賣騎士駕駛著他們的坐騎與機動車並駕齊驅的場景;這種交通場景在北美和歐洲一些國家是很少見的。

c。

交通規則不同:

國內紅燈預設可以右轉,很多地方在沒有導向車道的路口是預設允許的,但德國預設不能右轉。還有高速限速問題,國內的高速限速120,但德國高速的很多路段一般是不限速的,在那樣的道路上飈個200是很正常的事,但是如果在中國這樣做,那不僅是自己找死,也很有可能連累到無辜的人。

d。

駕駛習慣不同:

在德國,先行權概念意識比較強,大家基本都是嚴格按照先行權邏輯開車;國內交規幾乎沒有這套邏輯,有紅綠燈的路口相對還好一些,對於沒紅綠燈的路口,尤其是到了晚上,基本是誰膽大誰先過。國內還有一個不好的現象,就是加塞情況比較嚴重,尤其是在車輛擁堵時,你左右兩邊的車可能隨時不打轉向燈,便如幽靈般見縫插針地切入到你前面的空當位置。

由於不同國家和地區的車輛行駛環境的差異化,導致測試場景資料的具有很強的地域屬性。測試車輛面對的極端工況場景在數量和內容形式上也會有很大的不同。大家可以想象一下,在美國地區測試完全安全的自動駕駛系統,如果放在中國這樣交通環境更加複雜的國家去測試,系統必然會碰到之前沒有遇到過的“Corner Case”,那麼車輛的安全性將依然是沒有保障的。

一個企業的自動駕駛系統如果想要在一個國家商業化量產應用的話,必然需要先通過當地的測試場景評價考核,即保證它能夠應對當地的所有的極端工況場景。

然而,中國本土模擬企業具有“近水樓臺”的先發優勢,更容易設計開發出適合中國自動駕駛方案的模擬測試軟體。 首先,他們比國外企業更瞭解國內的道路環境、交通法規以及駕駛習慣;其次,更容易優先獲得中國的路採場景資料。

備註:

“知識積累”類稿件質量要求:A,資訊密度高於絕大多數券商的絕大多數報告,不低於《九章智駕》的平均水平;B,資訊要高度稀缺,需要80%以上的資訊是在其他媒體上看不到的,如果基於公開資訊,需要有特別牛逼的獨家觀點才行。多謝理解與支援。