劉華平：城市機器人的下一站，如何從“看見”到“讀懂”？

近日，“2026智能機器人城市空間應用場景大會”在成都舉行。會上，研究派專家代表，清華大學計算機科學與技術系教授、IEEE Fellow劉華平教授與實戰派專家代表，成都市機器人產業協會副會長、越凡創新董事長兼CEO黃山，分別從理論前沿與產業實踐的角度，發表了精彩的主題演講。

本次大會在成都市相關政府機構及產業協會的共同指導與主辦下，匯聚了政、產、學、研各界力量。本文將首先提煉劉華平教授的核心觀點。

劉教授 認為，當前機器人智能受限于被動感知，需向主動“讀懂”跨越。其核心路徑是發展主動感知與具身智能，并通過融合多模態感知與構建世界模型，最終實現機器人對環境的深層理解與自主決策。

接下來，我們將繼續分享實戰派專家、成都市機器人產業協會副會長黃山從產業一線帶來的實踐洞察。

劉華平

IEEE Fellow、清華大學計算機科學與技術系教授

以下為劉華平教授演講核心觀點：

1.感知的本質差異在于：眼睛“看見”的是大腦選擇的信息，而“讀懂”則需要形成主動的認知與記憶。

2.真正的“讀懂”需要實現兩大跨越：預知行為后果，以及在視覺不可及處依然理解環境。

3.實現從“看見”到“讀懂”的根本路徑在于發展主動感知與具身智能。

4.具身智能依賴四大主動能力的協同：主動控制、主動感知、主動學習與主動協同。

5.機器人的形態設計應由任務與場景驅動，通過對抗、適應與進化學習動態形成，而非預先固定。

6.實現多機器人協同的關鍵，在于每個個體需具備“自知之明”，能主動識別自身短板并召喚外部協助。

7.單一視覺遠遠不夠，必須融合多模態感知才能實現對物理世界的深度理解。

8.無人駕駛長達二十年的研究，其核心是持續解決“看不清、看不準、看不全”這一根本性感知挑戰。

9.當前服務機器人的主要瓶頸并非感知硬件，而在于交互方式、動態環境理解與主動服務能力的系統性欠缺。

10.未來突破的關鍵在于發展“世界模型”，使機器人具備預見與評估行為后果的能力。

以下為劉華平教授演講主要內容：

從“看見”到“讀懂”的認知覺醒

我是從2000年開始從事機器人行業，到現在算下來25年了，這25年從某種意義來講恰好是計算機視覺、機器人視覺，甚至包括整個機器人具身智能行業怎么從“看見”到“讀懂”這個過程，反過來也影響了我對這個問題的思考和理解，今天簡單給大家分享我對這個問題的理解。

我最早與自動駕駛結緣于2000年3月，當時正攻讀博士學位，也是國內首批開展自動駕駛研究的團隊之一。從純粹的學術研究視角出發，那時我未曾預料到這項技術未來能真正融入日常生活。在實驗車輛的后座上，我的主要職責是在緊急情況下啟動安全開關，其余時間車輛均處于自主行駛狀態。

國家重點實驗室驗收期間，我們為演示設計了一項直線行駛測試。過程中，一位身著白衣的院士專家對我們的測試方式提出質疑，并突然走向車道。幸運的是，試驗車輛及時感知并規避了專家與其側的自行車，順利通過驗收。這段視頻也成為二十余年來保存下的唯一珍貴記錄。

我之所以回看這段經歷，是想說明：當時我們自認為已能夠“讀懂”環境、理解世界，但如今反思，那更多仍停留在“看見”的層面。盡管當時的機器人搭載了昂貴的視覺傳感器、激光雷達與多套定位系統，實現的實則是對環境的被動感知，而非真正意義上的認知與理解。

什么叫讀懂呢？可能不同的人有不同的理解。從個人做研究的角度理解，我覺得來自兩方面。

第一，我們做每一個動作的時候，要能夠知道我們下一步會產生什么樣的后果，這才是真正讀懂了這個事情，這是最重要的。第二，現在的計算機視覺和現在的攝像頭只能捕捉我們能看到的東西，當我們看不到的時候怎么辦，這時候機器人應該發揮作用——這正是“讀懂”應當發揮作用的領域。

我自己有一個切身體會。在學校的車庫，我的車要是稍微角度不對，桿是不會抬的它能夠識別到車牌，但它有可能檢測不到我的車牌，過不去。我在網上找了幾個視頻，可以非常簡單地騙過攝像頭，但是有些時候我們的車想過去的時候我們反而過不去，這個時候我們能說沒有看見嗎？其實是看見了，但是我們并沒有真正讀懂我們能夠干什么。

第二，在視覺不可及之處，能否借助機器人實現環境理解，才是技術應努力的方向。

其實我們看到很多消費級的商品已通過交互設計模擬“讀懂”體驗以提升用戶體驗，比如大家每天在用的微信二維碼。大家并不需要理解二維碼本身的內容，但在掃碼過程中，二維碼會逐漸地放大，好像它正在逐漸向你走來一樣，動態放大的動畫給予我們“系統正逐漸識別”的明確反饋，從而營造出流暢的認知體驗。這個過程的用戶體驗非常好，雖然本身并不對識別帶來本質的幫助。

這就是我二十多年里，研究機器人，研究計算機視覺的非常重要的領域，我們把它叫做主動感知，主動感知能夠幫助我們從“看見”到“讀懂”。為什么呢？

主動與具身是實現跨越的關鍵

從哲學上講我們有一句很有名的話叫做“眼睛看到的事實其實是大腦想讓你看到的東西”。我們不要自己騙自己，實際上你看到的東西就是大腦想讓你看到的東西。大腦不想讓你看到的東西，你是記不住的，你看了等于沒看。這是我們從感知到認知之間最大的差異，也是從看見到讀懂之間最大的差異。

所以我們一直有一個觀點，從看見到讀懂里面有很多種不同的途徑到道路，但主動是這里面最重要的一條必由之路。

圖1.“主動”是從“看見”到“讀懂”的必由之路

舉個簡單例子，在目前的監控系統里每個小區都有大量的攝像頭，但是很多攝像頭它是固定的，當出現了事故、出現了狀況之后，我們只能事后分析，而不能在當場感知它，去測量它。

這個問題的根源在哪里呢？如果去追本溯源，去尋找計算機視覺、尋找機器人的根源，其實我們可以上溯到上個世紀（1966年）。計算機視覺的誕生源自一位有名的教授給他的學生說了一句話，讓他在一個月之內能夠讓機器人利用計算機視覺的技術去抓取場景里面的一塊東西，在這個時候大家真正意識到了什么叫做真正的智能機器人。但是可惜的是這個領域出現之后大家很快分成兩個不同的學派，一個叫計算機視覺，一個叫做智能機器人。這兩個學派在1994年“打過一次仗”，在一個很有名國際期刊上發表過一次“論戰”，這場“論戰”就意味著通用視覺或者是專用視覺或者是目的性視覺之間的交鋒。這次交鋒非常激烈，交鋒的結果很慘烈，幾乎是計算機視覺占了主導。所以從1994到現在，從我上學時候一直到前不久，很長一段時間我們的人工智能、計算機視覺都是沿著這條路徑發展的。

感知，理解。

當前，在互聯網所提供的大規模數據與多樣化算力的支撐下，我們能夠實現從模式識別、機器學習到基礎模型乃至多模態融合等一系列技術突破。這一技術體系，正構成了我們稱之為計算機視覺或感知理解的核心發展路徑。

但一方面，搞機器人的人真正關注的是什么？關注的是感知和行為，關注的是物理世界。所以我們在這里面發表出了視覺測量、視覺導航，我們也有多模態，我們的多模態指的是視覺、觸覺、聽覺、雷達、紅外，這兩條線索在很長時間內是相對獨立的，一直到2018年，大家重新審視，機器人和計算機視覺是不是應該重新回歸到一起，形成我們真正在客觀物理世界里能夠靈活主動的一種模式，就是具身智能。所以今天所提的具身智能，其實我理解，它的最核心最本質的根基其實就在于我們的主動感知，它能夠把我們靜態的視覺和動態的物理世界有機的融合起來，來形成關于整個對物理世界的感知和理解。

在解決這個問題的過程中我們面臨很多障礙，最大的障礙是莫拉維克悖論。上個世紀80年代中期，兩位機器人科學家留給我們一句話，電腦像成人般的下棋相對容易，但要讓電腦像一歲的小孩般的感知和行動非常難。所以我們現在看到的人工智能可以下棋，可以寫詩，可以作畫，但是在行走在操作甚至在很多感知問題上依然離人還有很遠的距離。這恰巧就是我們從看見到讀懂過程中最應該去關注的問題，這個問題涉及到我們今天所討論非常重要的研究方向，就是具身人工智能。

具身人工智能大家討論非常多，各人理解不同。我們一直堅信具身智能本質上是用身體，它一定有一個物理的身體，利用這個身體，利用感知和行動，在和環境交互過程中產生智能。

我們關注過一篇心理學的文獻，里面提到關于人具身認知的六個維度，翻譯成計算機研究人員的話，可以總結為：多模態感知、持續學習、物理交互、靈活探索、社交模仿以及語言學習。一會兒會稍微展開介紹，這幾條線索如何指導我們開展現有的研究工作。

進一步分析可發現，上述維度主要涉及形態、行為、感知與學習四個核心要素，它們分別對應不同學科的研究重點：形態屬于機械領域，行為屬于自動化控制，感知屬于計算機科學，學習則屬于人工智能范疇。而在具身智能的框架下，真正關鍵的是這四個要素的協同增效——任何一個專業都無法獨立解決具身智能的根本問題。

圖2.具身智能是形態、行為、感知與學習的協同增效

四大主動能力驅動具身智能

因此，我們構建了一套體系架構，將國際上近期具身智能相關研究置于該框架下進行梳理分析，可以看到，他們確實在踐行形態、行為、感知和學習之間不同箭頭的關系。整體而言，該領域無論在研究、開發乃至產業化方面，仍存在廣闊的發展空間。

那么，這片領域的空白，以及它正的創新點在什么地方？核心在于主動。我們可以用主動的方式幫助我們做控制，用主動的方式做學習、做感知，甚至做凈化，而現有的方法更多是被動的、離散的，或者說靜態的方式去解決問題。這也是我們近年來一直在開展具身智能過程中的一個角度，希望能用主動的方式解決我們所面臨的一系列問題。

圖3.具身智能是形態、行為、感知與學習的協同增效（2）

可以看看主動到底能為我們做什么呢？

舉個簡單例子，在計算機視覺領域中，無人駕駛系統通常將攝像頭固定在車上，隨車輛移動進行實時環境檢測，但這種模式往往無法主動尋找從未見過的事物。而另一種路徑則是——即便是一根結構簡單的機械臂，在復雜環境中找不到目標時，也會主動利用自身的形態與行為來輔助感知、促進學習。這種行為已超出傳統意義上的“感知”，我們更傾向于稱之為“發現”。

從學習角度來看，現在的機器學習都是靜態的、被動的、離散的，說白了就像是填鴨式學習，我們希望做到的是具身地學習，主動地、創造性地、自發地學習，控制、優化等都可以做到。這些是一些概念性闡述，我們自己也在開展相關的研究工作，所以我們一直堅信，主動是實現具身智能的靈魂性要素。因為它能幫助我們實現主動控制，當我們幫助人形機器人學習一個策略的時候，我們現在看到的只是人形機器人多么復雜，自由度多么高，我們是不是可以想象一下，人形機器人為什么要做成這樣一種樣子？為什么要具備這么多自由度？它是不是能為我們的學習帶來好處，而不是把它當成一個負擔。

圖4.“主動”是具身智能的“靈魂”

因此，我們可以充分利用人形機器人的形態特點，從而簡化所需的控制信號與控制結構。實際中可見，即便采用非常簡單的控制信號，也能有效推動人形機器人在訓練過程中快速掌握動作與任務。

其次在于主動感知。當機器人在實際環境中未能直接發現目標時，并不意味著任務終結——恰恰相反，這正是其自主探索的開始。它需要在環境中進行搜尋與探索，直至最終定位目標。

主動學習也是如此。現有機器人的形態通常在初始階段便被固定下來，此后不再改變，但這并非最優方案。機器人到底應該長什么樣，不應該由人說了算，而是應該由任務說了算，應該由場景說了算。通過對抗、適應、發育與進化學習等方式，在交互中逐漸形成最合適的形態，而不是說我覺得它是什么樣就是什么樣，這本質上是一個由場景與任務驅動的主動學習過程。

此外還有主動協同。如今機器人日益普及且成本降低，每個實驗室、每個房間都可以部署多個機器人。這些機器人往往接口不一、形態各異、能力不同，如何使它們有效協同？最重要的是讓每個機器人能夠識別自身短板，并在能力不足時主動召喚可協助它的其他機器人。這才是我們真正在協同里面引入主動的思路。目前，我們已在此方向開展了一些初步的研究工作。

在主動感知的基礎上，下一步應著力解決感知能力的多維融合問題。當前機器人系統的短板往往并非缺乏主動性，而在于感知維度與理解深度的不足——主動性主要優化了時間維度的響應效率，但在空間與環境理解層面，僅依賴視覺是遠遠不夠的。盡管如今機器人普遍集成了激光雷達、超聲波、紅外、觸覺及視覺等多種傳感器，隨之而來的核心挑戰是如何實現多模態信息的真正融合與協同理解。

從具身智能的維度來看，在建立物理交互與靈活探索的機制后，我們應著重關注多模態感知與持續學習。因此，我們需要在現有機器人系統中引入更豐富的感知模態，從而實現對環境的深度理解——正如人類并非僅依賴視覺來認知世界一樣。圍繞這一方向，我們也已開展了一些初步研究工作，接下來可以對此進行簡要介紹。

從技術突破到場景落地實踐

我們重點通過動作與行為來融合多模態信息，包括面向無人駕駛的光學、紅外與雷達數據，以及面向靈巧操作的視覺、觸覺、聽覺等與物理世界的主動匹配，實現了感知、動作與語言的聯合對齊。基于此，我們具體開發了具身語音描述、語音融合、多模態感知以及具身問答等一系列系統，并在無人駕駛場景中開展應用。我們在無人駕駛領域的研究始于2002年，持續至今，其核心始終圍繞解決“看不清、看不準、看不全”的問題——而這正是依賴主動感知與多模態融合共同實現的。

與此同時，圍繞上述問題，我們也突破了相關關鍵技術，其核心在于如何更有效地利用多模態信息，以及如何以主動方式適應復雜動態環境。

基于上述研究，我們進一步將工作拓展至空中領域，開展了異構飛行汽車等前沿探索。比如，多個形態功能各異的機器人可在室內實現協同作業：當某個機器人發現自身無法獨立完成某項任務時，能夠通過語音信號主動召喚其他機器人協助完成。這項研究也充分體現了多模態融合與主動協同的核心思想。

基于以上研究，我們進一步追問：在多模態主動感知實現之后，下一步應當走向何方？當前的研究多圍繞特定任務展開，而更關鍵的是，機器人能否根據任務的變化，靈活地調整自身形態與行為，以應對多樣、動態的任務需求。這些任務從何而來？根本上來源于人的指令。人可以通過語言告知機器人該做什么，但目前大多數機器人仍缺乏高效的自然交互能力。

從研究框架上看，我們需要引入另外兩個關鍵維度：社交模仿與語言學習。這也正是當前業界積極將語言大模型融入具身智能的重要原因。大模型不僅能幫助機器人進行任務規劃與場景化決策，更能推動人機交互邁向自然化、智能化。我們團隊最近發布的VRV基礎模型，正是致力于強化語言在交互中的作用，從而提升機器人與人之間的協作效率與適應性。

在此我們引用一篇專門探討服務機器人需具備多少主動性的文章，其中總結了當前機器人在交互方式、動態環境適應與主動服務能力等方面的明顯不足，這也正是我們持續攻關的方向。

以動態環境適應為例：酒店服務機器人雖能便捷地將物品送至房間，但它所識別的是“房間”而非“你”本人。若你更換房間，機器人并無法感知這一變化。如何讓它真正理解“找人”而非“找房間”？這需要通過自然交流與交互來實現——而這正是語言大模型能夠發揮作用的地方。再如辦公室中的助理機器人，當它無法獨立完成某項任務時，不應就此停止，而應主動思考：“如果我自己做不到，能否詢問他人或其他機器人協助？”這種主動行為能力，才能使機器人成為真正“眼里有活”的助手，而非僅按指令行事的機械工具。這都是我們希望能夠做到的。

邁向具備后果預見的世界模型

最后簡要總結：無論是從“看見”到“讀懂”的跨越，還是對具身智能的探索，我們觀察到行業中主要存在三類不同的態度。最受關注的是前沿性進展，許多創業公司和高校團隊正聚焦于這一領域開展具身智能的前沿研究；令人欣喜的是，中間的新興領域也有越來越多企業（例如越凡創新）對具身智能表現出強烈興趣，并積極將主動感知、具身交互等關鍵技術應用于自身行業；相對而言，傳統行業（如工業機器人“四大家族”）對具身智能仍持保守態度。有時候我跟團隊開玩笑，等傳統行業都對具身智能開始感興趣了，就沒我們的機會了，所以現在的機會正是恰逢其時。

順著最后那個問題，談談我們的研究思路：當大模型與智能體技術已經用得差不多的時候，我們的下一步是什么？具身智能的六大要素仿佛已經被我們用得差不多了，是不是所有的具身智能問題都已經解決了？并沒有。回頭看看具身智能里面最重要的一個要素，和環境實現交互，這是最最核心的問題，這個問題并沒有得到很好地解決。

如何解決這個問題呢？我們需要讓機器具備對行為后果的預見與評估能力。回顧此前兩個案例：機器人能夠忠實地執行當前指令，卻往往不會考慮行為可能帶來的后果。正如網絡上一幅圖所喻示的：一個成年人不會貿然拉開那扇（裝滿碗碟的）柜門，但兒童或機器人卻可能因缺乏后果認知而直接行動。如何讓機器擁有這種“考慮后果”的能力？這是現在的機器學習以及現在的機器人很難完成的任務，這是我們的下一站，也是正在拓展的研究方向——世界模型。世界模型也是為下一步真正從看見到讀懂的一個重要的技術途徑，以后有機會再跟大家分享。

? Copyright

雨前顧問原創作品 | 未經授權請勿轉載 | 歡迎分享朋友圈