我們有幸邀請(qǐng)到了福瑞泰克首席架構(gòu)師李帥君、縱目科技感知算法總監(jiān)吳子章、安霸半導(dǎo)體研發(fā)副總裁孫魯毅以及鑒智機(jī)器人副總裁兼感知產(chǎn)品線負(fù)責(zé)人梁柱錦和焉知產(chǎn)研負(fù)責(zé)人陳康成（主持人）一起參與了圓桌討論。
在該環(huán)節(jié)，各位嘉賓暢所欲言，分別發(fā)表了自己看法與見(jiàn)解。以下內(nèi)容是焉知汽車(chē)在不改變嘉賓原意的基礎(chǔ)上，對(duì)核心內(nèi)容進(jìn)行提煉，以供業(yè)內(nèi)人士參考。
一.主持人：車(chē)企或Tier1在進(jìn)行周視攝像頭選型時(shí)，一般會(huì)重點(diǎn)關(guān)注哪些指標(biāo)？如果要支持城市NOA功能，是否配置角雷達(dá)，對(duì)周視攝像頭的選型是否會(huì)產(chǎn)生影響？若有，存在什么樣的影響？
李帥君：我們是Tier1的角色，關(guān)于周視攝像頭選型，我認(rèn)為主要參考三個(gè)方面：硬件光學(xué)、穩(wěn)定性以及算法。
從硬件光學(xué)來(lái)講，它是指整個(gè)攝像頭的解析力，光學(xué)的成像分辨率以及一系列光學(xué)顏色的測(cè)試，這些都是基礎(chǔ)性能。
然后，在此之上會(huì)要求硬件的穩(wěn)定性，攝像頭是否已經(jīng)通過(guò)在不同的溫度、震動(dòng)、機(jī)械性能、電子兼容性等條件下的測(cè)試項(xiàng)目。
最后，在算法上，攝像頭模組通常還是要接到后端的域控制器去做感知算法的處理。我們福瑞泰克也做域控，相當(dāng)于是由我們自己來(lái)處理。但我們?cè)诳己藬z像頭供應(yīng)商時(shí)候，還是會(huì)看它是否具備ISP的處理能力。如果具備，那么我們?cè)诤蠖伺龅揭恍㊣SP相關(guān)問(wèn)題，去跟供應(yīng)商做相應(yīng)溝通的時(shí)候會(huì)更加順暢。
吳子章：剛才李總說(shuō)的非常全面，我在李總的基礎(chǔ)上稍做一點(diǎn)補(bǔ)充。對(duì)于攝像機(jī)的選型，大家在產(chǎn)品需求的差異還是蠻大的。不同的場(chǎng)景（高速/城區(qū)/泊車(chē)）需求下的理解不同：不同的刷新率和分辨率。另外，我們還需要照顧到遠(yuǎn)場(chǎng)和近場(chǎng)的感知，到底希望能感知到什么樣的清晰度，大家會(huì)有一些區(qū)別。攝像頭選型的時(shí)候都會(huì)針對(duì)這些具體需求進(jìn)行考量。
孫魯毅：作為芯片廠商，因?yàn)槲覀儾恢苯舆M(jìn)行攝像頭選型，我們是支持我們客戶/Tier1來(lái)做選型。
我們主要考慮兩方面：首先，會(huì)考慮支持?jǐn)z像頭需要的性能。如果同時(shí)運(yùn)行多顆攝像頭，需要搭配什么樣的芯片？比如6V5R的行泊一體方案，它所搭配的攝像頭就不能特別多，否則，不僅成本過(guò)高，芯片的性能也支撐不了。
對(duì)于大算力的芯片而言，如果市場(chǎng)上需要，把周視/環(huán)視/前視/后視的攝像頭全部接入進(jìn)去，問(wèn)題也不是很大。需要支持?jǐn)z像頭總的處理能力，包括攝像頭的接入能力，處理的時(shí)候不會(huì)丟幀（運(yùn)行比較復(fù)雜AI算法的時(shí)候，要保證它不會(huì)丟幀）等。
其次，要考慮圖像的質(zhì)量，因?yàn)?/span>現(xiàn)在比較明顯的趨勢(shì)是車(chē)上搭載的攝像頭越來(lái)越多，一般會(huì)用大算力或者是中等算力 SoC芯片上的ISP進(jìn)行圖像處理。相對(duì)來(lái)講，大算力平臺(tái)會(huì)有更多的資源去做ISP處理。我們也做過(guò)一些對(duì)比：同樣的CMOS Sensor，如果是用模組端的ISP（還是業(yè)界比較有名的ISP）處理，它跟用安霸的SoC芯片上的 ISP做處理得出的結(jié)果對(duì)比 —— 白天的效果沒(méi)有太大的差別，但是在夜晚或者是雨天，差別還是挺大的。利用安霸方案的ISP處理，效果會(huì)更好。對(duì)于Tier1的意義在于可以用相對(duì)便宜的CMOS圖像傳感器達(dá)到更貴的CMOS圖像傳感器類(lèi)似的效果，這主要是從成本的角度考量。
梁柱錦：前面三位講得很完善，我補(bǔ)充兩點(diǎn)，我們做選型可能會(huì)從兩個(gè)角度：
第一個(gè)是從硬件適配的層面。當(dāng)我們要去做攝像頭選型，更具體點(diǎn)就是面向量產(chǎn)的方案選型上 ——選擇哪款攝像頭，需要看它能不能適配當(dāng)前選擇的域控制器，以及我們適配這款攝像頭需要花的時(shí)間和代價(jià)是多大，這是前提。如果在這個(gè)層面上代價(jià)比較大，那我們可能會(huì)選擇其它更合適的?？傮w來(lái)說(shuō)它能不能滿足我們?nèi)プ隽慨a(chǎn)的時(shí)間點(diǎn)，以及去適配它需要花的時(shí)間以及代價(jià)是多少，這是非常重要的衡量指標(biāo)。
第二就是從功能層面，剛才吳總也講到了。我們到底要去做泊車(chē)功能，還是做城區(qū)，亦或者是去做高速。我們對(duì)于所要識(shí)別的物體，以及想要去做的一些任務(wù)，其實(shí)對(duì)攝像頭是有要求的。比如，在城區(qū)場(chǎng)景，它需要對(duì)更小的目標(biāo)做監(jiān)測(cè)和識(shí)別，這個(gè)時(shí)候可能對(duì)FOV有要求 —— FOV越大，看進(jìn)去的目標(biāo)會(huì)越多，同時(shí)像素越高，就越能識(shí)別出更小的物體。當(dāng)然了，這和域控的選擇也是有很強(qiáng)的相關(guān)性。
總之，關(guān)注的核心就兩個(gè)點(diǎn)：從硬件角度能不能滿足，以及從功能角度能不能滿足。
二.主持人：對(duì)于側(cè)前和側(cè)后方向的環(huán)境感知，通常有以下三類(lèi)比較主流且經(jīng)濟(jì)使用的智駕傳感器配置方案：1）配置有環(huán)視攝像頭，但無(wú)周視攝像頭和角雷達(dá)，會(huì)用環(huán)視攝像頭去實(shí)現(xiàn)一些行車(chē)輔助功能；2）配置有周視攝像頭，但無(wú)環(huán)視攝像頭和角雷達(dá)，會(huì)使用周視攝像頭去實(shí)現(xiàn)一些泊車(chē)輔助功能；3）配置角雷達(dá)，但無(wú)環(huán)視和周視攝像頭。如何看待這三種不同類(lèi)型的方案？（不同方案的優(yōu)劣勢(shì)和重點(diǎn)針對(duì)的應(yīng)用場(chǎng)景是什么？）
梁柱錦：我談兩個(gè)層面，對(duì)于這三類(lèi)不同類(lèi)型的傳感器。我們首先要知道他們的優(yōu)劣勢(shì)在哪里。其次，就是剛才講到的場(chǎng)景問(wèn)題，是要做行車(chē)，還是做泊車(chē)。
我們分析一下三類(lèi)不同類(lèi)型的異構(gòu)傳感器：1）角雷達(dá)的優(yōu)點(diǎn)在于它的測(cè)距測(cè)速很穩(wěn)很準(zhǔn)，不受天氣環(huán)境影響，可全天候工作，但對(duì)于對(duì)橫向目標(biāo)敏感度低，如對(duì)橫穿車(chē)輛檢測(cè)效果不佳；還有一些鬼影、靜距離盲區(qū)等問(wèn)題。2）環(huán)視攝像頭的優(yōu)點(diǎn)在于FOV特別大，看到的范圍很廣；3）周視的FOV偏小，但是看得比較遠(yuǎn)。
針對(duì)這些特性，我覺(jué)得在泊車(chē)場(chǎng)景，不需要看太遠(yuǎn)，但要盡可能看得進(jìn)所有的目標(biāo)，還要識(shí)別到空間車(chē)位及線車(chē)位。在這種情況下，如果只用角雷達(dá)，是沒(méi)辦法識(shí)別車(chē)位，因?yàn)樗鼪](méi)有語(yǔ)義感知的功能。但用周視攝像頭，處于安裝位置及視角的原因，又看不到近距離的目標(biāo)及車(chē)位。
對(duì)于行車(chē)場(chǎng)景，又要分高速和城區(qū)。高速場(chǎng)景需要看得遠(yuǎn)。環(huán)視攝像頭的缺點(diǎn)就是看不遠(yuǎn) —— 探測(cè)距離只有30~50m。周視可以覆蓋更大的范圍，比方說(shuō)，做高速領(lǐng)航，需要做變道，不同的變道速度對(duì)于側(cè)后方的感知距離也不一樣。舉個(gè)例子，側(cè)后方需要看到大于80米左右的距離，才能安全的變道，這也是為什么最早的駕駛員觸發(fā)變道功能要求自車(chē)車(chē)速在60kph以上的原因之一，自車(chē)變道速度越低，對(duì)于側(cè)后方的識(shí)別距離要求越高。如果用環(huán)視攝像頭，就達(dá)不到這個(gè)需求。用角雷達(dá)的問(wèn)題在于它的噪聲會(huì)很多，對(duì)于側(cè)后方的車(chē)輛的橫向位置識(shí)別性能不佳，所以就導(dǎo)致了變道的成功率很低。
所以我總結(jié)一下：需要根據(jù)傳感器不同特性，以及在不同的應(yīng)用場(chǎng)景下，系統(tǒng)到底想要具備的功能是什么，然后根據(jù)需求去選擇不一樣的傳感器搭配。
孫魯毅：剛才梁總講的很全面，我稍微補(bǔ)充一點(diǎn)。隨著不同傳感器的技術(shù)發(fā)展，我覺(jué)得一個(gè)很明顯的趨勢(shì) —— 視覺(jué)的優(yōu)勢(shì)以及發(fā)展的潛力比雷達(dá)要大。雷達(dá)也不是說(shuō)就不行，只是說(shuō)視覺(jué)的進(jìn)展會(huì)更快。在我看來(lái)，隨著視覺(jué)傳感器技術(shù)的提升，角雷達(dá)被拿掉是有可能的。甚至沒(méi)有周視攝像頭的情況下，如果前視和后視攝像頭FOV足夠大，便可以覆蓋很大的角度，支持變道等功能。
做得比較好的環(huán)視魚(yú)眼攝像頭，其實(shí)可以看到30米。30米對(duì)于橫向車(chē)道的判斷也沒(méi)有什么太大問(wèn)題。在未來(lái)，這三種傳感器最有可能被拿掉的是角雷達(dá)，但前后雷達(dá)的意義比較大則仍會(huì)保留，尤其是前雷達(dá)。
如果把周視跟環(huán)視比，我不是特別看好周視。周視當(dāng)然有用，但環(huán)視攝像頭天生的大FOV是周視攝像頭無(wú)法取代的，特別在泊車(chē)場(chǎng)景下完全無(wú)法被取代。很多時(shí)候看得不夠遠(yuǎn)，不是問(wèn)題；而看不看得清楚才是問(wèn)題。比如，光線比較差，或者夜晚開(kāi)車(chē)，我們?nèi)搜垡部床坏?00米。所以，看不遠(yuǎn)不是問(wèn)題，首要解決是在大視角下可辨識(shí)度的問(wèn)題。
如果一定要選的話，我覺(jué)得這三個(gè)傳感器首先被淘汰的是角雷達(dá)。隨著技術(shù)的發(fā)展，周視的地位可能就要受到影響，尤其現(xiàn)在大家做行泊一體，總是在討論能不能干掉周視。
吳子章：我覺(jué)得孫總說(shuō)得非常好，說(shuō)出了很多我們從業(yè)者的一些經(jīng)驗(yàn)和痛點(diǎn)。其實(shí)很多同行一直希望用一種傳感器去取代另一種傳感器，并且有很多同行已經(jīng)做過(guò)了試驗(yàn)和驗(yàn)證。有一段時(shí)間，有些廠商就已經(jīng)拿4路的周視專(zhuān)門(mén)去做泊車(chē)的功能，但做了一段時(shí)間就不了了之了。
當(dāng)然也有一些廠商用環(huán)視去做行車(chē)場(chǎng)景上的嘗試。環(huán)視也有剛才梁總說(shuō)的一些問(wèn)題，它的近場(chǎng)感知還可以，但是遠(yuǎn)場(chǎng)感知肯定是很難提上來(lái)，至少目前還存在成像質(zhì)量或其它局限性問(wèn)題，所以兩者在一段時(shí)間內(nèi)可能還是會(huì)共存的。兩者在冗余性上面，在當(dāng)前階段，算法上的冗余會(huì)比異構(gòu)傳感器上的冗余更有意義一些。
在角雷達(dá)的發(fā)展過(guò)程中，近一兩年的發(fā)展確實(shí)沒(méi)有那么快了，可能它的價(jià)格或者說(shuō)市場(chǎng)競(jìng)爭(zhēng)已經(jīng)趨于穩(wěn)定。在我們看來(lái)，激光雷達(dá)的降價(jià)對(duì)角雷達(dá)的存在具有一定的挑戰(zhàn)性。隨著補(bǔ)盲激光雷達(dá)的引入，它可能會(huì)扮演一條“鯰魚(yú)”的角色 —— 如果它的作用發(fā)揮越來(lái)越大，其它傳感器可能就會(huì)受到一定的影響。
李帥君：我補(bǔ)充一點(diǎn)，分別談一下這三類(lèi)傳感器目前的現(xiàn)狀以及發(fā)展中存在的一些不足，最后再講一下我個(gè)人對(duì)整個(gè)趨勢(shì)的判斷。
先說(shuō)周視攝像頭（特斯拉是最典型的例子），能夠看得比較遠(yuǎn)，但是看不到足夠近的目標(biāo)。原因很簡(jiǎn)單，就是FOV不夠大。對(duì)于大部分的智駕應(yīng)用來(lái)講，我們其實(shí)更需要用周視攝像頭看更近一些的東西，這是它現(xiàn)在的缺陷，需要去彌補(bǔ)的地方。
其次，對(duì)于魚(yú)眼攝像頭，基本快成了標(biāo)準(zhǔn)配置，這是一個(gè)很好的基礎(chǔ)。有一個(gè)容易被大家忽視的地方 —— 環(huán)視和周視設(shè)計(jì)目標(biāo)不一樣。大部分的魚(yú)眼攝像頭是為了泊車(chē)而設(shè)計(jì)，它現(xiàn)在是完全正的向下去安裝，視場(chǎng)角是為看車(chē)道線服務(wù)的，然而現(xiàn)在有一大半看到的是車(chē)的本體，這是沒(méi)有意義的。從我們環(huán)境感知的目標(biāo)來(lái)看，它應(yīng)該抬起來(lái)一點(diǎn)去看側(cè)面更遠(yuǎn)的地方。怎樣才能把FOV用得更好一點(diǎn)，可能需要上限能做到靜態(tài)環(huán)境探測(cè)15米左右，運(yùn)動(dòng)目標(biāo)物體探測(cè)能做到20~30米。
最后，角雷達(dá)的問(wèn)題，它的處理比較簡(jiǎn)單，非常有用的地方在于對(duì)于移動(dòng)物體感知比較敏感。不足之處在于，如果近處有很多交通參與者，不太容易把他們互相分辨，因?yàn)闀?huì)存在很多噪音。車(chē)載毫米波雷達(dá)最開(kāi)始應(yīng)用于歐洲，原本的設(shè)計(jì)就是為了應(yīng)對(duì)高速場(chǎng)景。它會(huì)對(duì)遠(yuǎn)距離監(jiān)測(cè)范圍內(nèi)、有移動(dòng)速度的物體，容易用相對(duì)很小的代價(jià)就可以把它區(qū)別出來(lái)，這是它的優(yōu)勢(shì)。
對(duì)于整體的發(fā)展趨勢(shì)，雷達(dá)和視覺(jué)技術(shù)都會(huì)往前發(fā)展，去增強(qiáng)它的感知能力。我非常認(rèn)同下午豫興電子付總演講中的一個(gè)觀點(diǎn) —— 能用基礎(chǔ)的簡(jiǎn)單的方法去解決的，就不要去拼高大上的算法。
那么，環(huán)視和周視攝像頭的FOV或者探測(cè)距離不夠，要去發(fā)展，其實(shí)我覺(jué)得要更多的要在鏡頭的設(shè)計(jì)上去做文章，讓它更充分的去利用視場(chǎng)角去Cover，確保進(jìn)來(lái)的像素都是有效的，是真正感興趣（工作）的范圍，我覺(jué)得這是重點(diǎn)。
角雷達(dá)用簡(jiǎn)單方法能夠?qū)Ω咚俚哪繕?biāo)產(chǎn)生作用，它就一定有它在感知層面上的意義。當(dāng)然，我在一定程度上同意在終局的時(shí)候，周視以及環(huán)視攝像頭可以不用激光雷達(dá)和毫米波雷達(dá)就可以把所有的場(chǎng)景都覆蓋。但這是一個(gè)終局的形態(tài)，可能需要5~10年的時(shí)間。
在我們談BEV算法的時(shí)候往往忽略掉 —— 它還需要3D真值來(lái)訓(xùn)練。怎么獲得3D真值？車(chē)上如果沒(méi)有激光雷達(dá)，但是有角雷達(dá)的時(shí)候，它也能給采回來(lái)的數(shù)據(jù)提供很重要的Reference。所以它對(duì)提供量產(chǎn)影子模式的真值有一個(gè)非常重要的作用，在我們到達(dá)終局之前，我認(rèn)為角雷達(dá)一定會(huì)存在的。
三.主持人：以往的一些高端品牌車(chē)型中，周視攝像頭大多都采用與前視攝像頭同分辨率的8MP，但是現(xiàn)在很多車(chē)型中，周視攝像頭大多開(kāi)始降為使用2MP。您如何看待這種現(xiàn)象？（是因?yàn)檫@些車(chē)型本身的算力、帶寬不足以支持過(guò)多的高分辨率攝像頭，還是說(shuō)對(duì)于實(shí)現(xiàn)高速/城區(qū)NOA等高階智能駕駛功能，2MP的周視攝像頭完全夠用，亦或者是出于成本和性能方面的綜合考量？）
李帥君：首先我覺(jué)得域控中的SoC芯片肯定不是瓶頸，有很大的算力。我覺(jué)得更多的還是在應(yīng)用場(chǎng)景上。周視可能先上，大家最后發(fā)現(xiàn)真正極端的case，或者說(shuō)最應(yīng)該去解決的是路口斜前方的場(chǎng)景—— 不超過(guò)100米的Case。那么，剩下的便是設(shè)計(jì)多大FOV和多大分辨率的事情。從這個(gè)角度出發(fā)，再去考慮降低分辨率的事情。但理論上講，還有一種情況是把 FOV設(shè)計(jì)得很大，并且用很高分辨率，但成本上不劃算。
吳子章：從我們的經(jīng)驗(yàn)來(lái)看，這里存在性價(jià)比的問(wèn)題。系統(tǒng)資源是有限的，4個(gè)周視全上8MP攝像頭，勢(shì)必要吃掉更多的CPU、顯存以及AI算力。雖然現(xiàn)在有比較強(qiáng)的芯片供應(yīng)商能提供大算力芯片，但大算力芯片還有很多的工作要做 。一個(gè)系統(tǒng)如果承擔(dān)了過(guò)多的前端任務(wù)，后面能夠留下來(lái)給其它功能所使用的資源必然是有限的。所以，從系統(tǒng)資源平衡的角度來(lái)看，4個(gè)8MP周視攝像頭接進(jìn)來(lái)，比之前的2MP或3MP攝像頭能夠帶來(lái)多大的增益或者提升，是我們從量產(chǎn)角度需要去考量的一點(diǎn)。
如果8MP周視攝像頭能夠在遠(yuǎn)距離或者說(shuō)在某些情況下，的確帶來(lái)了一定的指標(biāo)提升，但它的提升也給整個(gè)成本帶來(lái)了很大的增加，可能就要重新考量這件事情了。
我們看到的很多同行對(duì)8MP攝像頭使用策略有所不同，比如，有的在算力有限的情況下，會(huì)從中間選一個(gè)ROI區(qū)域，然后扣出來(lái)。其實(shí)就是典型的8MP攝像頭的解決辦法，只解決了一個(gè)看遠(yuǎn)的問(wèn)題，因?yàn)閾噶艘粔K，遠(yuǎn)處的 ROI可能就是有限的，同時(shí)也平衡了算力資源有限的問(wèn)題。
另外一點(diǎn)，8MP攝像頭本身 ROI也存在一定的距離范圍，F(xiàn)OV和距離相互制肘，所以這個(gè)過(guò)程當(dāng)中，它能夠帶來(lái)的提升也有限。所以在近一兩年，8MP攝像頭的裝載率也會(huì)存在著一定的挑戰(zhàn)。同樣，這跟整個(gè)車(chē)企都要降本的環(huán)境背景也有一定關(guān)聯(lián)。
但8MP周視攝像頭的確也是會(huì)比之前低分辨率周視攝像頭起到更強(qiáng)的效果。比如，在過(guò)路口或者說(shuō)車(chē)的側(cè)方有一些Corner case需要去幫助解決的情況下。
過(guò)一兩年，隨著整個(gè)市場(chǎng)環(huán)境有所緩解，再加上整個(gè)攝像頭在成像質(zhì)量上，或者說(shuō)在安裝角度上面得到一定程度地提升或改進(jìn)，并且給我們的整個(gè)系統(tǒng)帶來(lái)比較好的增益的情況下，8MP周視攝像頭也可能會(huì)被重新考量用起來(lái)。
孫魯毅：前面兩位講得都很好。我主要想從以下兩個(gè)方面來(lái)談一談。首先是數(shù)字圖像的領(lǐng)域，另外一個(gè)是從算法和算力的領(lǐng)域。
從數(shù)字圖像的領(lǐng)域來(lái)講，我覺(jué)得大家有時(shí)候經(jīng)常過(guò)分的關(guān)注于多少像素，而不太關(guān)注于多少個(gè)好像素（高質(zhì)量成像）。
看同時(shí)代的傳感器 —— 我們單獨(dú)去測(cè)SNR（信噪比），是2MP攝像頭好，還是8MP攝像頭好？測(cè)下來(lái)結(jié)果基本是2MP攝像頭好。為啥？因?yàn)橥瑫r(shí)代的技術(shù)，簡(jiǎn)單來(lái)講就是Pixel越大越好?；镜囊貨Q定了8MP攝像頭在白天光線很好的時(shí)候，它的SNR比較好。但在夜晚或者光線比較差（下雨或霧天）的時(shí)候，它的表現(xiàn)常常不如2MP攝像頭。去測(cè)好像素個(gè)數(shù)，如果挑那種特別low light（低光照）場(chǎng)景，8MP攝像頭的好像素個(gè)數(shù)甚至都沒(méi)有2MP攝像頭的多。
車(chē)載攝像頭的應(yīng)用解決的是可見(jiàn)度的問(wèn)題，不僅僅要應(yīng)對(duì)白天光線好的場(chǎng)景，還要應(yīng)對(duì)夜晚以及惡劣天氣下場(chǎng)景。即使是有一個(gè)很好的ISP也不能改變CMOS 圖像傳感器產(chǎn)生的數(shù)據(jù)本來(lái)就不行的問(wèn)題。
好像素與壞像素，還有一個(gè)區(qū)別就是動(dòng)態(tài)范圍。同時(shí)代的技術(shù)里面，動(dòng)態(tài)范圍跟 Pixel大小有很大的關(guān)系?，F(xiàn)在隨便一個(gè)手機(jī)好幾千萬(wàn)像素，一個(gè)稍微老一點(diǎn)的單反，可能就1000多萬(wàn)像素。拿10年前的單反跟現(xiàn)在最新的手機(jī)比，白天光線良好的時(shí)候近距離拍照，手機(jī)完勝10年前的單反，再挑一個(gè)惡劣的環(huán)境（光線較暗），會(huì)完敗于10多年前的單反。
數(shù)字圖像系統(tǒng)要考慮到多少像素是有用的，技術(shù)又是怎么樣發(fā)展的。這些主要受光學(xué)相關(guān)因素的影響，比如鏡頭的加工工藝、鍍膜以及安裝精度等。
另外，從算法和算力的領(lǐng)域看。周視為什么之前用8MP攝像頭，我覺(jué)得最主要的原因還是為了廣告宣傳效應(yīng)。技術(shù)層面也有意義，但意義不是特別大。高像素?cái)z像頭在技術(shù)上最大的意義是場(chǎng)景重建，如果采集這些數(shù)據(jù)去做場(chǎng)景重現(xiàn)，自己去建地圖非常有意義。如果前視、周視都是8MP攝像頭，可以跑8MP攝像頭的BEV算法，但是BEV+Transformer的網(wǎng)絡(luò)不會(huì)跑得很快。在現(xiàn)在的技術(shù)現(xiàn)狀下，很難跑到實(shí)時(shí)。
我可以這樣講，周視全部用8MP攝像頭，如果是跑真正實(shí)時(shí)的自動(dòng)駕駛的網(wǎng)絡(luò)，4個(gè)Orin-X都不一定能搞定?；緯?huì)采用縮小、裁剪以及其它一大堆的技巧處理后的輕量版的網(wǎng)絡(luò)才能夠運(yùn)行。如果是開(kāi)發(fā)一個(gè)性價(jià)比比較合適的方案， 個(gè)人認(rèn)為：前視有效距離要比較遠(yuǎn)，要做到200米左右的感知，8MP前視非常有必要。但對(duì)周視來(lái)講，通常不是那么必要上8MP，2MP的分辨率已經(jīng)完全夠用。
梁柱錦：我從另外一個(gè)視角談一下。為什么周視要用8MP攝像頭？因?yàn)橘F，貴代表什么，性能好。我覺(jué)得從賣(mài)方的角度來(lái)看，像以前賣(mài)手機(jī)的廠商，總會(huì)說(shuō)用了某某最新的芯片。
實(shí)際上，我們的手機(jī)性能可能不一定需要那么好的芯片。我覺(jué)得對(duì)于8MP攝像頭也是一樣。周視用8MP攝像頭，企業(yè)就可以對(duì)外宣稱說(shuō)他的自動(dòng)駕駛系統(tǒng)的感知性和安全性比用2MP攝像頭要更好，這樣的車(chē)可以賣(mài)的更貴。
這是從非技術(shù)角度，從技術(shù)角度講的話，前面幾位已經(jīng)講的非常全面了。
我這里稍微補(bǔ)充一下，現(xiàn)在就算是我們用2MP攝像頭，其實(shí)大部分的算法也并沒(méi)有把所有的這些數(shù)據(jù)全部利用好。大家實(shí)際做算法的時(shí)候，一般都會(huì)接入2MP周視攝像頭進(jìn)來(lái)，如果用BEV，在目前主流的一些宣稱在100 TOPS左右的芯片上去跑，也很難跑實(shí)時(shí)。更別說(shuō)要去帶4個(gè)8MP周視攝像頭了。
總之，所以我覺(jué)得，對(duì)于高端車(chē)型，一方面是為了宣傳，也就是是所謂的廣告效應(yīng)。另一方面是為了未來(lái)的可擴(kuò)展性。我覺(jué)得未來(lái)整個(gè)算法的模型肯定要迭代。如果前期預(yù)留更好的一些傳感器的配置，后面其實(shí)大概率是能用起來(lái)的。當(dāng)然，如果我們只是想簡(jiǎn)單的去做高速或城區(qū)NOA，其實(shí)周視用2MP也是完全夠用的。
四.主持人：未來(lái)，用4~5顆超級(jí)魚(yú)眼攝像頭替代傳統(tǒng)的4顆周視攝像頭+4顆環(huán)視攝像頭是否會(huì)成為主流？如果能夠?qū)崿F(xiàn)很好的替代，需要超級(jí)魚(yú)眼攝像頭具備什么樣的性能？另外，要實(shí)現(xiàn)這樣的方案，在算法和軟件層面上又會(huì)帶來(lái)怎樣的挑戰(zhàn)？
梁柱錦：最開(kāi)始我也分析過(guò)了，主要看兩點(diǎn)：FOV和像素。FOV取決于攝像頭能看多大范圍，像素取決于它能監(jiān)控到多少物體。魚(yú)眼攝像頭的問(wèn)題在于看不遠(yuǎn)，因?yàn)轸~(yú)眼環(huán)視攝像頭都是往下看，如果把它抬起來(lái)，肯定就會(huì)看得更遠(yuǎn)。同時(shí)，因?yàn)樗腇OV足夠大， 意味著同等像素情況下，魚(yú)眼攝像頭肯定比周視攝像頭看得要更近。魚(yú)眼攝像頭雖然說(shuō)看不遠(yuǎn)， 但如果把像素提高了，它就能看得更遠(yuǎn)了。
超級(jí)高像素魚(yú)眼攝像頭的意義就在于去彌補(bǔ)傳統(tǒng)魚(yú)眼攝像頭看不遠(yuǎn)的問(wèn)題。把像素變高，魚(yú)眼攝像頭最大的問(wèn)題就是畸變問(wèn)題。解決不好畸變，相當(dāng)于四周的東西都看不了，想要去覆蓋全車(chē)360°的是覆蓋不好的。
特別是對(duì)于一些在周邊/圖像邊緣的一些場(chǎng)景，對(duì)算法的要求相對(duì)比較高。怎么能夠把去畸變做得更好，甚至壓根不用做去畸變，只是通過(guò)網(wǎng)絡(luò)模型去處理（去畸變這種模型）。這會(huì)對(duì)算法提出更高的要求，我們鑒智就提出了雙球形去畸變的方案。
所以我非常認(rèn)同，當(dāng)魚(yú)眼攝像頭的像素提升了，它一定是能去替換掉現(xiàn)在的周視，當(dāng)然這個(gè)是在我們限制的ODD范圍內(nèi)，比方說(shuō)我們要去滿足C-NCAP，過(guò)十字路口場(chǎng)景，普通的魚(yú)眼攝像頭可能就看30米的距離，但C-NCAP現(xiàn)在可能要求看80米的距離，怎么辦？像素就需要提升4倍或8倍。所以，我認(rèn)為超級(jí)魚(yú)眼攝像頭一定是有價(jià)值的，一定可以逐步地把周視替換掉，用更低/更少的傳感器，去達(dá)到我們現(xiàn)在想要的這種城區(qū)/高速領(lǐng)航的需求。
孫魯毅：梁總講的算法應(yīng)用，我還是比較贊同的?，F(xiàn)在，我講一下魚(yú)眼鏡頭本身。其實(shí)魚(yú)眼鏡頭的模組它不是說(shuō)你換一個(gè)CMOS 圖像傳感器，像素多了，感知效果就會(huì)好。因?yàn)殓R頭的光學(xué)部分也非常重要。
我看好未來(lái)普通魚(yú)眼鏡頭在行泊一體的應(yīng)用，但對(duì)于較高成本的超級(jí)魚(yú)眼持保留態(tài)度。
魚(yú)眼鏡頭是所有鏡頭中難度最大的，雖然我們不做鏡頭，但是我們接觸過(guò)很多鏡頭廠商，魚(yú)眼鏡頭市場(chǎng)上最常見(jiàn)的是接近于Equidistant形變的鏡頭， 這種鏡頭的邊緣壓縮比較明顯，邊緣壓縮會(huì)導(dǎo)致邊緣的角分辨率比較低，如果環(huán)視魚(yú)眼攝像頭兼顧用于周視，真正所感興趣的信息會(huì)在邊緣高度壓縮的地方，這是Equidistant鏡頭常見(jiàn)的一些問(wèn)題。
從光學(xué)角度的設(shè)計(jì)，魚(yú)眼攝像頭對(duì)于單點(diǎn)高亮度的光源，在HDR的場(chǎng)景下很容易有紫邊，這是天生的光學(xué)設(shè)計(jì)，想解決這個(gè)問(wèn)題是非常復(fù)雜的。解決魚(yú)眼攝像頭帶來(lái)的鬼影問(wèn)題，光學(xué)成本會(huì)比較高。如果要解決上述問(wèn)題，還要解決夜晚亮度過(guò)高的問(wèn)題，要增加它的光圈，魚(yú)眼鏡頭+光圈會(huì)加重紫邊，情況會(huì)越來(lái)越壞。如果加了光圈以后，成像質(zhì)量又好，那么鏡頭體積就得加大，體積加大以后安裝又變得很困難，最后又導(dǎo)致成本迅速增加。
也有人會(huì)想能不能另辟蹊徑，我不做Equidistant鏡頭，去做那種邊緣擴(kuò)展比較開(kāi)這種，比如 stereographic鏡頭。首先這種鏡頭的專(zhuān)利有沒(méi)有到期，會(huì)不會(huì)收專(zhuān)利費(fèi)暫且不談，單加工成本就比較高，并且尺寸也比較大。
魚(yú)眼攝像頭還有一個(gè)難點(diǎn)。前面已經(jīng)講到部分是算法的應(yīng)用，比如側(cè)面一輛車(chē)開(kāi)過(guò)去的時(shí)候，環(huán)視魚(yú)眼攝像頭的成像 —— 有一個(gè)差不多45度角的轉(zhuǎn)向，它的這種特征跟常規(guī)的前/后視攝像頭所看到的都非常不一樣，所以要進(jìn)行一些形變矯正，并且形變矯正本身也很復(fù)雜，不是簡(jiǎn)單的形變矯正。比如，當(dāng)某輛車(chē)距本車(chē)距離比較近以后，它就會(huì)凸出來(lái)，產(chǎn)生復(fù)雜的形變。
總之，魚(yú)眼攝像頭存在兩大問(wèn)題：1）光學(xué)設(shè)計(jì)怎樣跟CMOS 圖像傳感器進(jìn)行緊密綁定，降低成本，現(xiàn)在整個(gè)行業(yè)還沒(méi)有很好的解決方案。2）如何很好地應(yīng)用魚(yú)眼攝像頭去做算法。目前，這個(gè)問(wèn)題在整個(gè)行業(yè)也沒(méi)有特別好的答案。
吳子章：關(guān)于魚(yú)眼攝像頭的使用及使用過(guò)程中遇到的一些問(wèn)題，確實(shí)是我們很多同行都在討論的點(diǎn)，這些也是我們之前一直在考慮的?？v目起初便在魚(yú)眼泊車(chē)上做了很多工作，也一直在思考是否能用魚(yú)眼攝像頭去發(fā)揮更大的效能，實(shí)現(xiàn)更多的功能。在此過(guò)程中，的確也遇到了很多類(lèi)似于剛才孫總談到的一些問(wèn)題。因?yàn)槲覀児居袑?zhuān)門(mén)的傳感器部門(mén)，相關(guān)同事也很專(zhuān)業(yè)，所以經(jīng)常也會(huì)跟我們談到相關(guān)的問(wèn)題。這些問(wèn)題其實(shí)是當(dāng)前技術(shù)發(fā)展的瓶頸或者說(shuō)局限性。
其實(shí)，從魚(yú)眼攝像頭使用者的角度來(lái)看，的確遇到了很多前面幾位提到的問(wèn)題，比如魚(yú)眼攝像頭的安裝角度或安裝策略問(wèn)題，魚(yú)眼攝像頭在左右兩側(cè)實(shí)際上是要向下看，它要比前后兩側(cè)魚(yú)眼的安裝位置更低，如果用800萬(wàn)像素的攝像頭，安裝的角度同樣會(huì)向下去傾斜一些，那么，它是否能夠看得足夠遠(yuǎn)呢？這可能也是個(gè)問(wèn)題。另外，越邊緣的地方，形變和畸變會(huì)越大一些，尤其在側(cè)方的遠(yuǎn)處，可能會(huì)正好趕上形變比較劇烈的一些區(qū)域。
如果說(shuō)出現(xiàn)的這些問(wèn)題，都通過(guò)算法去解決。但算法在量產(chǎn)的過(guò)程中也會(huì)應(yīng)用在不同的車(chē)型，比如，在小轎車(chē)量產(chǎn)的算法，如果換到大型的商務(wù)車(chē)上面，可能就需要進(jìn)行比較大的算法調(diào)整或者說(shuō)算法的適配，無(wú)疑會(huì)給算法部門(mén)帶來(lái)比較大的壓力，所以，整個(gè)過(guò)程是需要解決系統(tǒng)優(yōu)化的問(wèn)題，但系統(tǒng)優(yōu)化可能就需要我們行業(yè)內(nèi)的一些外部的驅(qū)動(dòng)力引入進(jìn)來(lái)?？傊?，傳感器的變革是一個(gè)艱辛又漫長(zhǎng)的過(guò)程，所以我們還是拭目以待吧。
李帥君：從技術(shù)上看，我覺(jué)得環(huán)視和周視存在一定功能上的重疊。從技術(shù)和成本的角度出發(fā)，現(xiàn)在大家的確都是在想辦法去看能不能把它歸一化，或者說(shuō)減少成本。
另外，周視有周視的問(wèn)題，環(huán)視有環(huán)視的問(wèn)題，兩個(gè)對(duì)比來(lái)看，我認(rèn)為環(huán)視要往上走的難度可能更大一點(diǎn)。
另外，瓶頸并不在Pixel（像素）上面，而在鏡頭上。最終的需求是需要一個(gè)側(cè)面的視覺(jué)系統(tǒng)來(lái)具備足夠大的FOV以及更遠(yuǎn)的探測(cè)距離。相對(duì)來(lái)講，我覺(jué)得如果采用同樣的原理，同樣性質(zhì)的鏡頭，把周視攝像頭的FOV做得大一些，安裝角度再外下探一些，周視攝像頭來(lái)兼顧環(huán)視應(yīng)用可能更容易實(shí)現(xiàn)一些。
五. 主持人：現(xiàn)在大家都在做高速/城區(qū)NOA，都在推輕高精地圖甚至是無(wú)高精地圖方案來(lái)實(shí)現(xiàn)高階智能駕駛方案。主流的廠商傾向于選擇異構(gòu)感知傳感器的冗余方案。對(duì)于側(cè)前和側(cè)后范圍的感知監(jiān)控，可選擇的傳感器有：3D（4D）角毫米波雷達(dá)、高清周視攝像頭（環(huán)視攝像頭）以及補(bǔ)盲激光雷達(dá)。通常情況下，會(huì)至少選擇其中的兩種傳感器；但是要實(shí)現(xiàn)規(guī)模化量產(chǎn)，出于成本上的考量，必須有所取舍，那么冗余傳感器配置究竟該如何選擇？
李帥君：先回答冗余這個(gè)詞。我個(gè)人看法，冗余偏向于是一個(gè)偽命題，大家既然在做融合，可能在算法里面，都要把視覺(jué)的特征和雷達(dá)的特征放在一起，然后才形成這樣一個(gè)系統(tǒng)，這里面其實(shí)不存在冗余，每一種都是must，除非是做后融合，卡爾曼濾波這一套其實(shí)還是可以用冗余的理論去解釋。但是，所有的BEV算法和重感知輕地圖算法，大家走的都是重度的前融合。所以我覺(jué)得談冗余本來(lái)就沒(méi)有基礎(chǔ)，冗余的這種說(shuō)法可能也不太準(zhǔn)確。
接下來(lái)講怎么去配置這三類(lèi)傳感器，我的基本觀點(diǎn)是要有深度信息以及不同源的至少兩類(lèi)傳感器，因?yàn)橐曈X(jué)是最豐富的一個(gè)信號(hào)源，應(yīng)該具備。接下來(lái)是訓(xùn)練網(wǎng)絡(luò)，不管什么樣的感知算法，都需要一個(gè)真值，但純視覺(jué)的系統(tǒng)往往比較難獲得真值信息。那么，就需要有一類(lèi)傳感器來(lái)輔助認(rèn)知。
目前大家有不同的實(shí)現(xiàn)路徑：1）激光雷達(dá) —— 大部分人從學(xué)術(shù)界繼承過(guò)來(lái)的一種方式。2）雙目立體視覺(jué) —— 鑒智以及其它少數(shù)企業(yè)在推行的一種方式。3）3D/4D角毫米波雷達(dá) —— 包括福瑞泰克等企業(yè)在內(nèi)在堅(jiān)持的一種方式。我覺(jué)得這些方式都可以去選擇，它的核心作用就是給視覺(jué)數(shù)據(jù)提供距離上的估計(jì)。它是用更簡(jiǎn)單的一種方式，但一定是不同源的傳感器，這樣才能夠跟視覺(jué)傳感器組合起來(lái)去生成真值來(lái)訓(xùn)練。
吳子章：我覺(jué)得李總說(shuō)的很有道理，其實(shí)我們想要確保傳感器層面的冗余，肯定至少需要兩類(lèi)異構(gòu)傳感器。如果在成本沒(méi)有壓力的情況下，甚至我們可以選更多類(lèi)型的傳感器配置方案。但其實(shí)會(huì)存在一些問(wèn)題 —— 我們?nèi)绾问褂眠@些傳感器。
因?yàn)槲覀冃枰ㄟ^(guò)芯片上面有限的算力，把不同源的傳感器進(jìn)行強(qiáng)力的融合。尤其是前融合，對(duì)傳感器的輸入信號(hào)源有一定的要求，并且對(duì)網(wǎng)絡(luò)模型的要求也更高，并且需要經(jīng)過(guò)強(qiáng)化訓(xùn)練。目前，業(yè)界的技術(shù)水平在普遍應(yīng)用上還存在局限性。
選一款傳感器，最開(kāi)始肯定是要看需求，是要覆蓋高速，是城區(qū)，還是要覆蓋泊車(chē)。如果三個(gè)場(chǎng)景都要覆蓋，要考慮的東西會(huì)很多，所有場(chǎng)景的需求都要考慮進(jìn)來(lái)。此時(shí)，我們不單單是用一般的冗余度去看問(wèn)題，可能還需要從功能設(shè)計(jì)的角度去看。有些功能可能一定要這種傳感器，另外一些功能可能對(duì)另外一類(lèi)傳感器是必不可少。那么，從功能需求端來(lái)看，這些傳感器就必須得搭配進(jìn)來(lái)。
很多時(shí)候我們都面臨的同樣現(xiàn)實(shí)的問(wèn)題。如果想要在下一代的功能當(dāng)中去克服所遇到的困難，其實(shí)還是需要有一些同行勇敢的站出來(lái) —— 傳感器的配置或者所使用策略就自己設(shè)計(jì)，不管其他人怎么做，保證自己的效果好就行，并且成為行業(yè)標(biāo)桿。
成為這樣的標(biāo)桿當(dāng)然很難，因?yàn)椴粌H需要自身有計(jì)算芯片的生產(chǎn)研發(fā)的能力，還要有相應(yīng)傳感器的研發(fā)能力。這是一般供應(yīng)商很難去復(fù)刻的一個(gè)模式。但對(duì)于我們或類(lèi)似于我們量級(jí)的供應(yīng)商而言，可能還是要從我們自身的基本的功能層面，或者說(shuō)冗余度層面、應(yīng)用場(chǎng)景層面去組合，并最終達(dá)到我們現(xiàn)最好的功能性和安全性。
孫魯毅：關(guān)于傳感器的異構(gòu)冗余，我個(gè)人看法是：首先，以現(xiàn)在的計(jì)算機(jī)視覺(jué)和芯片算力的發(fā)展水平，異構(gòu)在絕大部分情況下是無(wú)法繞開(kāi)的。采用恰當(dāng)?shù)漠悩?gòu)傳感器配合，總的來(lái)說(shuō)肯定是有作用的。我想說(shuō)的并不是隨便挑兩種不同的傳感器去組合效果就一定好，比如視覺(jué)+毫米波雷達(dá)的組合。因?yàn)槔走_(dá)并不是只有一家供應(yīng)商，雷達(dá)也不是只有一種技術(shù)，視覺(jué)傳感器同樣如此。具體的情況要根據(jù)這輛車(chē)所定義的功能，以及打算應(yīng)用的場(chǎng)合，并且要有一些實(shí)際的數(shù)據(jù)做支撐。有些東西大家覺(jué)得是那樣，實(shí)際上測(cè)起來(lái)可能也不見(jiàn)得就是那樣，因?yàn)楦鞣N傳感器有它自己的短板，視覺(jué)一樣有短板，但是并不是說(shuō)視覺(jué)有短板，搭配上毫米波雷達(dá)或激光雷達(dá)就一定能補(bǔ)上。
這三類(lèi)傳感器，我認(rèn)為視覺(jué)傳感器肯定是拿不掉的。那我們先把視覺(jué)傳感器裝配上去，再看看還有什么問(wèn)題，然后再有針對(duì)性去解決問(wèn)題，比如說(shuō)沒(méi)真值系統(tǒng)，是不是要加激光雷達(dá)？現(xiàn)在很多企業(yè)是怎么做的呢？他們是先把攝像頭裝上車(chē)，再裝激光雷達(dá)，先采集真值，采完了以后量產(chǎn)車(chē)上卻沒(méi)有激光雷達(dá)。
今天論壇演講還談到了熱成像攝像頭，在特定的情況下，比如說(shuō)是在夜間或者大霧天氣，它也可以起到補(bǔ)足可見(jiàn)光攝像頭看不清目標(biāo)物體的問(wèn)題。所以說(shuō)，要解決什么問(wèn)題，就采用對(duì)應(yīng)的傳感器。我們將來(lái)可能還會(huì)看到一些更有創(chuàng)意的傳感器的設(shè)計(jì)。
總體而言，我認(rèn)為所謂的異構(gòu)冗余傳感器是為了解決具體的問(wèn)題而疊加上去的。異構(gòu)是不是能解決問(wèn)題，要靠實(shí)際的測(cè)量和實(shí)際的測(cè)試，然后根據(jù)測(cè)量和測(cè)試結(jié)果再去挑選所對(duì)應(yīng)的傳感器。
基于這個(gè)想法來(lái)講，可能要去搭一套東西，具體是前融合還是后融合，也要看現(xiàn)有的算力平臺(tái)是否有足夠的算力資源支撐。另外，我們還要考慮開(kāi)發(fā)整套系統(tǒng)的可移植性和可擴(kuò)展性。另外，除了傳感器異構(gòu)，我認(rèn)為還應(yīng)該考慮基于同樣視覺(jué)傳感器，采用不同方法的算法異構(gòu)。
梁柱錦：剛才孫總講得非常對(duì)，我們?nèi)ミx擇異構(gòu)傳感器的出發(fā)點(diǎn)是為了補(bǔ)全功能，或者是為了安全，一般就是這兩個(gè)目的。
補(bǔ)全功能就是根據(jù)我們對(duì)各種傳感器的分析 —— 視覺(jué)一定要有的，因?yàn)橐曈X(jué)富含語(yǔ)義信息，可以做非常多的事情，基于視覺(jué)我們要往下拆解，比方說(shuō)，我們選擇了周視攝像頭，要去做泊車(chē)，就要選擇魚(yú)眼攝像頭作為另外一種異構(gòu)傳感器補(bǔ)充進(jìn)來(lái)。假設(shè)我們要去做高速NOA，測(cè)距測(cè)速需要更準(zhǔn)，可能會(huì)將毫米波雷達(dá)或者激光雷達(dá)補(bǔ)充進(jìn)來(lái)。
我們?cè)谧鲞@個(gè)事情上的思路，比方說(shuō)為什么我們鑒智要選擇雙目方案？就是因?yàn)榱Ⅲw雙目可以彌補(bǔ)單目測(cè)距測(cè)速不準(zhǔn)的問(wèn)題。其實(shí)，單目也不是說(shuō)不準(zhǔn)，特斯拉就是用單目，但是特斯拉用單目的前提是它有非常大量的數(shù)據(jù)，需要模型去訓(xùn)出來(lái)。但現(xiàn)實(shí)情況是大部分的車(chē)廠和供應(yīng)商沒(méi)有大量的數(shù)據(jù)，所以他們就很難通過(guò)單目攝像頭把測(cè)速和測(cè)距這個(gè)事情做得很準(zhǔn)。那么，有些企業(yè)可能會(huì)選擇依賴激光雷達(dá)去做這件事情，但依賴激光雷達(dá)成本又會(huì)增加很多。
轉(zhuǎn)自焉知汽車(chē)
