熱議雙目攝像頭

編輯：Mark

出品：紅色星際（ID：redplanx）

頭圖：大疆車載智能駕駛圖片

小林急匆匆地走進(jìn)屋，“最近關(guān)于雙目攝像頭的討論突然變得很熱鬧，特別是大疆車載的雙目攝像頭在五菱車上量產(chǎn)之后，大家對這塊的關(guān)注明顯增多”。

小周低頭看了一下滿頭大汗的小林，笑著說，在我的記憶里，雙目攝像頭總是雷聲大，雨點小。

小林疑問地問道，為啥啊？

小周問道，你知道為什么這些輔助駕駛車輛在高速上，看到奇形怪物，總是往上撞嗎？

小林想了想，我好像之前聽別人說過，單目攝像頭主要是依靠龐大的樣本庫，如果樣本庫里沒有這個樣本，那么攝像頭就識別不出來這個物體。

一般情況下，單目攝像頭是先通過圖像匹配進(jìn)行目標(biāo)識別，再通過目標(biāo)在圖像中的大小去估算目標(biāo)距離，這就要求在估算距離之前首先對目標(biāo)進(jìn)行準(zhǔn)確識別。

如果都不能識別出來，距離肯定也不能估算出來，所以一旦遇到奇形怪物，就下意識地忽略掉了，然后就撞上去了。

我這個理解對嗎？

小周點點頭，差不多是這個意思。對于單目攝像頭而言，必須建立并不斷維護(hù)一個龐大的樣本特征數(shù)據(jù)庫，保證數(shù)據(jù)庫包含這個世界的所有奇形怪物。

所以，你聽到的80%左右的自動駕駛車輛事故，大部分是撞上靜止的車輛、非標(biāo)的路障，以及非標(biāo)的車輛如工程車等等。更有一些公司為了系統(tǒng)可以有效地檢測到大型動物，特地跑到一個動物園，建一個大型動物數(shù)據(jù)庫。

1. 雙目攝像頭的發(fā)展

小林笑著說道，原來如此啊。接著反問道，那你為什么說雙目攝像頭總是雷聲大，雨點小？

小周轉(zhuǎn)過身來看著小林，其實雙目攝像頭的發(fā)展已經(jīng)有了二十多年了，最開始是在日本，后來擴展到歐美，最后傳到了中國。但在中國，前幾年雙目攝像頭更多是用在商用車的障礙物檢測預(yù)警和AEB功能上，還沒有用在真正的高級輔助駕駛上。

至于為什么雙目攝像頭發(fā)展比較慢，我覺得有幾個原因吧。首先要知道雙目攝像頭到底有什么作用，它想補充什么功能或者是想取代什么傳感器。

雙目攝像頭是按照仿生視覺的方法，由左右兩個攝像機同步成像，并計算左右圖像的視差，從而生成三維點云，通過視差的大小來測量物體與眼睛之間的距離。

小林突然蹦了一句話，這個是不是和3D電影的效果一樣，通過偏光鏡片，左眼看左相機的圖像，右眼看右相機的圖像，通過大腦理解視覺差異從而形成立體感覺。

小周笑著說，是的，就是這個原理。從雙目攝像頭的成像效果看，它主要想替換的是激光雷達(dá)，因為它的點云效果和測距與激光雷達(dá)的性能非常相似。

但10-20萬的車型因為成本的原因，大家都用不起激光雷達(dá)，所以像大疆車載就使用雙目攝像頭和毫米波雷達(dá)的方案，應(yīng)用在了五菱車上，彌補單目攝像頭+毫米波雷達(dá)在奇形怪狀障礙物的識別不足。

小林問道，就是說，前方只剩下雙目攝像頭和毫米波雷達(dá)？

小周點頭，對，這個方案其實很激進(jìn)，因為雙目攝像頭在測距和深度信息方面還不是很成熟和完美。

從測距方面看，大多數(shù)做雙目的只能做到二三十米，因為兩個相機之間的基線是確定的，安裝在車上是不可能無限制放大的，所以在短基線情況下測遠(yuǎn)距離本身的技術(shù)難度會大很多。

當(dāng)然也可以增加相機基線的距離，看得更遠(yuǎn)，但是視角會比較小。對于雙目相機而言，盡量近處看到最近，遠(yuǎn)處盡量遠(yuǎn)，這是矛盾的。

所以大疆車載在五菱的車上首先搭載的D80方案（時速80公里以內(nèi)使用），而不是大家認(rèn)為場景比較簡單的高速方案；而華為的雙目攝像頭為了避免這個問題，在北汽極狐車型上，除了使用雙目攝像頭外，還使用了2個不同焦距攝像頭來覆蓋更遠(yuǎn)的距離和視角。

（華為雙目攝像頭圖片）

小林笑著說，我明白了，現(xiàn)在大家用的雙目攝像頭都是被閹割過的，并沒有達(dá)到雙目攝像頭理論上的效果。那如果加入4D毫米波雷達(dá)，雙目攝像頭+4D毫米波雷達(dá)是否可以在低成本方案上替換掉激光雷達(dá)呢？

小周想了想，你說得很對，雙目攝像頭雖然有理論支持，但是實現(xiàn)起來很難。理想狀態(tài)下，雙目攝像頭和4D毫米波雷達(dá)的組合是有可能替換激光雷達(dá)的，但目前看，因為這2個傳感器因為都是新產(chǎn)品，所以在產(chǎn)品一致性和性能穩(wěn)定性方面都有不足。

特別是雙目攝像頭，隨著測距距離達(dá)到50米以上、100米以上，水平視覺只有30度，視差會變得越來越小，測距精度和穩(wěn)定程度的挑戰(zhàn)也會越來越大，這就對于雙目攝像頭高精度的生產(chǎn)和一致性提出了嚴(yán)苛的要求。

包括標(biāo)定方法，但這些我覺得隨著工藝和算法的提升可以逐漸提高。但現(xiàn)在雙目攝像頭最大的一個問題是生態(tài)沒有建立起來。

雙目攝像頭更多還是一個補充傳感器，沒有像單目攝像頭，或者激光雷達(dá)一樣，已經(jīng)變成了方案融合的中心。反而更像是一個替代的效果，一方面想替代激光雷達(dá)的三維建圖，一方面又想替代毫米波的測距功能。

但是相對這2個傳感器的高性能，雙目攝像頭又達(dá)不到，所以更多是在低成本方案中部分替代激光雷達(dá)的效果，高成本方案中，作為一個補充。

我們來看一段歷史，就知道了。中國的單目和雙目的創(chuàng)業(yè)公司，最初都是用在商用車上，主要是因為當(dāng)時中國政府出了一個政策，就是所有的商用車都得配有雙預(yù)警系統(tǒng)。

像Maxieye，Minieye等都是單目攝像頭的創(chuàng)業(yè)者，像中科慧眼等都是雙目攝像頭的創(chuàng)業(yè)者。但是發(fā)生了一件很奇怪的現(xiàn)象，等到大家想從商用車這個幾百萬規(guī)模的市場，轉(zhuǎn)到乘用車這個幾千萬規(guī)模的市場時，只有單目攝像頭的公司轉(zhuǎn)了過來，而雙目的基本都還停留在商用車市場。

現(xiàn)在市場上做雙目攝像頭，像華為和大疆，包括創(chuàng)業(yè)公司鑒智機器人，他們都是一開始就是從乘用車開始做的。

小林想了想，確實，鑒智機器人應(yīng)該說是過去一年輔助駕駛領(lǐng)域的香餑餑，1年時間就融了5億元左右，用1年的時間走了別人5年走的路。可為什么商用車的公司都沒有轉(zhuǎn)過來呢？

小周站了起來，我覺得主要原因是以雙目攝像頭為融合中心的生態(tài)沒有建立起來，也和行業(yè)的發(fā)展節(jié)奏有關(guān)。

過去幾年，雙目攝像頭更多的是用在服務(wù)機器人上，用在車上的很少，主要原因是車規(guī)級的產(chǎn)品一般要求都比較高，特別是對于雙目攝像頭這樣涉及到精密制造的產(chǎn)品，如果標(biāo)定都有問題，談精準(zhǔn)測量都是空談。

像華為的高層講的，雙目一大堆問題，簡單點說從機械上有標(biāo)定的問題，從算法上其實想把雙目用好并不容易，因為雙目要解決的本質(zhì)問題是深度測量，但深度測量本身想測量比較穩(wěn)定、可泛化其實是很難的問題。

傳統(tǒng)的雙目立體視覺方案對結(jié)構(gòu)、穩(wěn)定性和可靠性要求較高，國外相關(guān)廠商已具備多年經(jīng)驗，而國內(nèi)解決方案廠商目前處于起步階段，所以需要像大疆，華為這樣的大廠來帶動整個板塊的制造水平。

第二個因素，也是最主要的因素，就是雙目攝像頭更多的還是作為一個輔助工具，并沒有真正地融入輔助駕駛系統(tǒng)，加上乘用車上基本都是清一色的單目為主，所以很難從商用車跨界過來。

在乘用車市場，單目攝像頭融合的生態(tài)已經(jīng)很成熟了，但是雙目攝像頭才剛剛開始，所以對于商用車輔助駕駛初創(chuàng)公司而言，重新建立一套雙目攝像頭的生態(tài)太難了，所以他們都被迫留在了商用車市場，有的也向服務(wù)機器人方向拓展，就是進(jìn)不來乘用車。

小林疑惑道，為什么單目攝像頭的生態(tài)很完善，而雙目攝像頭的生態(tài)卻遲遲沒建立起來？

小周思考了一下，這與歷史和產(chǎn)品的發(fā)展有關(guān)。

單目攝像頭融合領(lǐng)域，有老大哥Mobileye，特斯拉等，通過大量的數(shù)據(jù)積累，建立了自己的數(shù)據(jù)庫，而且加上一堆的跟隨者，以前視單目為融合中心的生態(tài)形成了。

而且，單目攝像頭因于成本較低，對計算資源的要求不高，系統(tǒng)結(jié)構(gòu)相對簡單，所以在行業(yè)最先發(fā)展，視覺融合技術(shù)方案也最成熟。一個單PFGA芯片就夠了，而且產(chǎn)品穩(wěn)定性和一致性很好。

雙目系統(tǒng)的一個難點在于計算量非常大，對計算單元的性能要求非常高，這使得雙目系統(tǒng)的產(chǎn)品化、小型化的難度較大。之前國際上使用雙目的研究機構(gòu)或廠商，絕大多數(shù)是使用服務(wù)器來進(jìn)行圖像處理與計算的；也有部分將算法進(jìn)行簡化后，使用FPGA進(jìn)行處理。

但一些FPGA方案中有很多噪點與空洞，對后續(xù)計算不利，所以有些公司專門開發(fā)了專用芯片來適配雙目攝像頭。

小林想了想，那現(xiàn)在為什么又受到關(guān)注了？

小周笑著說，因為大廠進(jìn)來了。現(xiàn)在大家不再是單獨做一個傳感器，而是直接提供讓雙目成為融合中心的視覺方案。

2. 雙目攝像頭生態(tài)

之前的雙目更多的還是識別，沒有到為主的地步。所以大家的關(guān)注沒那么多，但現(xiàn)在這批做雙目攝像頭的公司，是以雙目攝像頭為主的融合，直接去掉了前視單目攝像頭。

單目攝像頭的成功不僅僅是因為傳感器的成熟，還有與之匹配的數(shù)據(jù)庫，算法和融合方式。雙目攝像頭如果僅僅作為一個補充傳感器，沒有與之匹配的生態(tài)，是很難快速發(fā)展起來的。

所以我們看到像大疆車載，通過大疆車載自研雙目BEV車道線檢測及融合和雙目3D物體檢測及融合等技術(shù)，讓雙目攝像頭成為了融合的中心。

（鑒智機器人視覺雷達(dá)圖片）

像鑒智機器人，采用雙核心驅(qū)動的技術(shù)路線，通過高階自動駕駛解決方案和雙目視覺雷達(dá)的完整產(chǎn)品布局，試圖建立雙目攝像頭生態(tài)。

這批公司進(jìn)來不是從單獨的雙目攝像頭切入，而是從整體方案入手。他們是帶著融合生態(tài)來的，而且都已經(jīng)拿到定點。

因為無論是對于單目攝像頭，還是雙目攝像頭，最終仍然需要一套決策機制進(jìn)行最終的決策，而整套決策的優(yōu)劣直接決定了是以誰為融合的中心，而不是單純的提高某個傳感器或者作為一個補充傳感器。

特別是鑒智機器人，整體方案使用的是老東家的地平線征程5芯片，本身就對這款芯片的性能了如指掌，所以才能在過去的1年在雙目攝像頭融合生態(tài)中嶄露頭角。

小林突然感悟了，看來，跟對大哥很重要，選對生態(tài)合作伙伴會讓自己的產(chǎn)品突飛猛進(jìn)。

小周笑著說，是的，跟對大哥很重要。立體視覺的關(guān)鍵在于算法的先進(jìn)性，算法越高級，邊緣會與原始的圖像越接近、準(zhǔn)確度越高。

所以說，只有建立完整的生態(tài)，整個行業(yè)才能快速地發(fā)展，而不是僅僅作為一個補充傳感器。

當(dāng)然還有一個因素，是整個行業(yè)到了以3D視覺為主導(dǎo)的技術(shù)發(fā)展期。

隨著自動駕駛的發(fā)展和應(yīng)用場景的廣泛，以圖像2D感知和規(guī)則后融合為主的視覺感知系統(tǒng)遇到了明顯的局限和瓶頸，包括測距測速準(zhǔn)確性和穩(wěn)定性、多攝像頭結(jié)果拼接一致性、規(guī)則系統(tǒng)迭代效率等一系列問題。

而高質(zhì)量、大規(guī)模的4D場景數(shù)據(jù)，端到端的4D感知正在成為技術(shù)趨勢。一方面可對于交通參與者進(jìn)行更優(yōu)的運動軌跡預(yù)測，從而實現(xiàn)性能更加優(yōu)異地規(guī)劃控制；另一方面可對于道路行駛區(qū)域預(yù)測更加精細(xì)的3D結(jié)構(gòu)化信息，在線生成局部實時3D地圖，降低對高精地圖等基礎(chǔ)設(shè)施的依賴。

小林問道，那你認(rèn)為雙目攝像頭什么時候可以落地呢？

小周思考片刻，單目和雙目因為檢測原理上的差異，雙目攝像頭硬件成本和計算量級的加倍，是難關(guān)也是突破口。

攝像頭的成本是最低的，單目相機的價格一般低于100美元，雙目攝像頭大概在200美元左右。用在掃地或者酒店服務(wù)機器人的雙目3D感知的相機，因為不是車規(guī)級的，成本更便宜，大概在100-200元左右。

之前可能雙目攝像頭價格比較高，主要用在高端車上。

但隨著相關(guān)產(chǎn)品產(chǎn)量的進(jìn)一步提升，相關(guān)技術(shù)的不斷成熟，供應(yīng)鏈的進(jìn)一步完善，雙目視覺產(chǎn)品的價格有望與單目視覺產(chǎn)品的價格越來越接近。

特別是大廠的進(jìn)入，讓整個行業(yè)的生產(chǎn)工藝都提高很多。

但是有一個問題，就是現(xiàn)在市面上已經(jīng)量產(chǎn)的方案大多是后融合方案，大家會慢慢地轉(zhuǎn)向基于特征層面的前融合路線，是否由比較平滑過渡的算法框架能幫助車廠去做融合的遷移，這個大概需要1-2年的轉(zhuǎn)換過程。

小林看了一下馬上到吃中午飯的時間，我再問一個終極問題，就是雙目攝像頭融合未來會全面取代單目攝像頭嗎？

小周沉思片刻，目前階段，應(yīng)該沒有那么快，其實單目攝像頭和雙目攝像頭并不是競爭的關(guān)系，而是互補的關(guān)系，像華為的前視四目攝像頭，既有雙目攝像頭，又有單目攝像頭，有些公司甚至使用三目攝像頭。

系統(tǒng)既可以通過單個攝像頭實現(xiàn)車道線、路標(biāo)和車輛類型識別，同時還可以利用兩個攝像頭做物體的立體匹配，它們之間可以通過融合構(gòu)成多維視覺。

像你剛才問的4D雷達(dá)問題，做雙目的更希望看到4D雷達(dá)的出現(xiàn)，如果雙目能夠很好的和4D雷達(dá)融合，從數(shù)據(jù)源的質(zhì)量和一致性融合的難度也會小很多。

未來單雙目方法的融合，視覺與雷達(dá)等其他類型傳感器的融合，不同視角，焦段的相機融合，是雙目相機的發(fā)展趨勢。

但像大疆和鑒智機器人直接用雙目攝像頭取代前視單目攝像頭，是有點激進(jìn)，但市場需要這樣的先鋒。

小林點點頭，確實。

通過一上午的交談，小林心里很滿足，但肚子卻在咕嚕咕嚕的叫著，小林站了起來，你中午想吃啥，我請你。

小周想了想，走，天上人間。兩人有說有笑的打了個車，踏上了去天上人間的路上。