王耀南院士：大模型，如何成為機(jī)器人的“終極操控中樞”？

原文發(fā)表于《科技導(dǎo)報(bào)》2025 年第20 期 《 人工智能大模型推動(dòng)具身智能無(wú)人系統(tǒng)發(fā)展 》

在“十五五”規(guī)劃錨定的未來(lái)產(chǎn)業(yè)藍(lán)圖中，具身智能作為人工智能走向物理實(shí)踐的關(guān)鍵跨越，正成為驅(qū)動(dòng)新型工業(yè)化、應(yīng)對(duì)社會(huì)挑戰(zhàn)的新質(zhì)生產(chǎn)力。

《科技導(dǎo)報(bào)》2025年第20期刊發(fā)了我國(guó)機(jī)器人技術(shù)與智能控制專(zhuān)家、中國(guó)工程院院士王耀南的文章《人工智能大模型推動(dòng)具身智能無(wú)人系統(tǒng)發(fā)展》。本文認(rèn)為，人工智能大模型以其強(qiáng)大的學(xué)習(xí)與泛化能力，為具身智能無(wú)人系統(tǒng)注入核心動(dòng)力，通過(guò)處理復(fù)雜多模態(tài)數(shù)據(jù)，顯著提升系統(tǒng)的感知、決策與控制智能化水平，賦能產(chǎn)業(yè)升級(jí)與科技自立自強(qiáng)。

王耀南（左三）指導(dǎo)學(xué)生

王耀南，現(xiàn)任湖南大學(xué)機(jī)器人視覺(jué)感知與控制技術(shù)國(guó)家工程研究中心主任，機(jī)器人技術(shù)與智能控制專(zhuān)家、中國(guó)圖象圖形學(xué)學(xué)會(huì)理事長(zhǎng)、中國(guó)工程院院士，主要從事智能機(jī)器人感知與控制技術(shù)及工程應(yīng)用的研究。

人工智能大模型推動(dòng)具身智能無(wú)人系統(tǒng)發(fā)展

王耀南

隨著人工智能技術(shù)的快速發(fā)展，具身智能無(wú)人系統(tǒng)逐漸成為研究熱點(diǎn)。人工智能大模型技術(shù)的發(fā)展為具身智能無(wú)人系統(tǒng)帶來(lái)了新的機(jī)遇。具身智能強(qiáng)調(diào)智能體通過(guò)與環(huán)境的交互來(lái)實(shí)現(xiàn)智能行為，而無(wú)人系統(tǒng)則擺脫了人類(lèi)直接操控的限制，能夠自主完成任務(wù)。人工智能大模型的出現(xiàn)，為具身智能無(wú)人系統(tǒng)的發(fā)展注入了強(qiáng)大動(dòng)力。大模型具有強(qiáng)大的學(xué)習(xí)能力和泛化能力，能夠處理復(fù)雜的多模態(tài)數(shù)據(jù)，為無(wú)人系統(tǒng)的感知、決策和控制提供更高效、更智能的解決方案。在當(dāng)今科技競(jìng)爭(zhēng)日益激烈的背景下，研究人工智能大模型驅(qū)動(dòng)的具身智能無(wú)人系統(tǒng)，對(duì)于提升國(guó)家的科技實(shí)力和推動(dòng)產(chǎn)業(yè)升級(jí)具有重要意義。

具身智能無(wú)人系統(tǒng)的載體形態(tài)豐富，涵蓋無(wú)人機(jī)、無(wú)人地面車(chē)輛（UGV）、無(wú)人水面/水下航行器（USV/UUV）以及各種類(lèi)型移動(dòng)機(jī)器人。

• 在軍事應(yīng)用領(lǐng)域，察打一體無(wú)人機(jī)可執(zhí)行戰(zhàn)場(chǎng)偵察、精確打擊任務(wù)，有效提升作戰(zhàn)效能并降低人員傷亡風(fēng)險(xiǎn)；無(wú)人運(yùn)輸車(chē)輛能在生化污染、炮火覆蓋等危險(xiǎn)環(huán)境中完成物資投送，保障后勤補(bǔ)給鏈路暢通。

• 在民用領(lǐng)域，無(wú)人配送車(chē)通過(guò)路徑規(guī)劃算法與環(huán)境感知模塊實(shí)現(xiàn)“門(mén)到門(mén)”貨物自動(dòng)配送，大幅提升物流末端效率；農(nóng)業(yè)植保無(wú)人機(jī)結(jié)合多光譜成像技術(shù)與精準(zhǔn)噴灑系統(tǒng)，可完成農(nóng)田長(zhǎng)勢(shì)監(jiān)測(cè)、病蟲(chóng)害防治等作業(yè)，助力農(nóng)業(yè)生產(chǎn)向精準(zhǔn)化、集約化轉(zhuǎn)型；水下無(wú)人航行器則可搭載聲學(xué)探測(cè)、水質(zhì)分析設(shè)備，開(kāi)展深海資源勘探、海洋生態(tài)環(huán)境監(jiān)測(cè)等任務(wù)。

這些應(yīng)用場(chǎng)景充分驗(yàn)證了無(wú)人系統(tǒng)的價(jià)值潛力，而具身智能技術(shù)的融入，將進(jìn)一步突破其功能邊界，實(shí)現(xiàn)更復(fù)雜場(chǎng)景下的自主任務(wù)執(zhí)行。

具身智能，其核心思想是智能體需要通過(guò)身體與環(huán)境進(jìn)行交互來(lái)獲取知識(shí)和實(shí)現(xiàn)智能行為。早期研究主要集中于結(jié)構(gòu)化環(huán)境中的專(zhuān)用控制算法與運(yùn)動(dòng)規(guī)劃方法，實(shí)現(xiàn)諸如定點(diǎn)移動(dòng)、物體抓取等基礎(chǔ)性任務(wù)。隨著深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等人工智能分支的發(fā)展，具身智能的應(yīng)用范圍逐步從工業(yè)機(jī)器人拓展到智能駕駛車(chē)輛、無(wú)人機(jī)等更為復(fù)雜的無(wú)人系統(tǒng)，實(shí)現(xiàn)了從“結(jié)構(gòu)化環(huán)境中的規(guī)則性任務(wù)”向“半結(jié)構(gòu)化環(huán)境中的多目標(biāo)任務(wù)”的重大跨越。近年來(lái)，以ChatGPT、DeepSeek、LLaMA等為代表的大模型技術(shù)爆發(fā)式發(fā)展，推動(dòng)具身智能進(jìn)入一個(gè)全新時(shí)代?；谏疃葟?qiáng)化學(xué)習(xí)與環(huán)境交互自學(xué)習(xí)的智能體，能夠通過(guò)與環(huán)境的持續(xù)互動(dòng)自主提煉任務(wù)策略，并借助視覺(jué)、語(yǔ)言、力觸等多模態(tài)感知系統(tǒng)，實(shí)現(xiàn)對(duì)動(dòng)態(tài)環(huán)境的深度理解與快速自適應(yīng)，從而顯著提升在未知、非結(jié)構(gòu)化環(huán)境中的系統(tǒng)魯棒性與任務(wù)完成率。

通用基礎(chǔ)大模型是具身智能無(wú)人系統(tǒng)的“底層引擎”。通用基礎(chǔ)大模型是AI大模型體系的核心基座，其技術(shù)特征在于通過(guò)大規(guī)模無(wú)標(biāo)注數(shù)據(jù)預(yù)訓(xùn)練，構(gòu)建跨領(lǐng)域的語(yǔ)言理解、邏輯推理與知識(shí)存儲(chǔ)能力。該類(lèi)模型以Transformer架構(gòu)為核心，通過(guò)千億至萬(wàn)億級(jí)參數(shù)規(guī)模實(shí)現(xiàn)“知識(shí)圖譜+語(yǔ)言理解”的雙重能力，典型代表包括ChatGPT系列、LLaMA系列、DeepSeek及文心一言等。在技術(shù)范式上，通用基礎(chǔ)大模型采用“預(yù)訓(xùn)練-微調(diào)”模式：預(yù)訓(xùn)練階段通過(guò)海量文本數(shù)據(jù)學(xué)習(xí)人類(lèi)語(yǔ)言規(guī)律與世界知識(shí)，形成通用語(yǔ)義理解與邏輯推理框架；微調(diào)階段則輸入少量任務(wù)相關(guān)標(biāo)注數(shù)據(jù)，快速適配文本生成、智能問(wèn)答、代碼編寫(xiě)等特定任務(wù)需求。在具身智能無(wú)人系統(tǒng)中，通用基礎(chǔ)大模型承擔(dān)“大腦中樞”職能：

例如，無(wú)人車(chē)決策系統(tǒng)可基于大模型的邏輯推理能力，解析交通法規(guī)文本、路況描述信息，生成符合人類(lèi)認(rèn)知的駕駛決策邏輯；服務(wù)機(jī)器人可通過(guò)大模型理解復(fù)雜自然語(yǔ)言指令，完成任務(wù)拆解與執(zhí)行指令轉(zhuǎn)化。

多模態(tài)大模型是具身智能無(wú)人系統(tǒng)復(fù)雜環(huán)境跨模態(tài)信息交互的“融合橋梁”，其能夠統(tǒng)一處理文本、圖像、音頻、視頻以及各類(lèi)傳感器（如激光雷達(dá)、毫米波雷達(dá)、慣性測(cè)量單元（IMU）等）產(chǎn)生的異構(gòu)數(shù)據(jù)，打破不同模態(tài)之間的語(yǔ)義隔閡。在模型結(jié)構(gòu)上，多模態(tài)大模型通常引入模態(tài)對(duì)齊模塊，例如跨注意力機(jī)制、特征映射網(wǎng)絡(luò)等，將不同模態(tài)的數(shù)據(jù)嵌入到統(tǒng)一的語(yǔ)義表征空間中，從而實(shí)現(xiàn)真正的跨模態(tài)理解與生成能力，例如圖像描述生成、語(yǔ)音指令理解、基于多傳感器融合的環(huán)境狀態(tài)判斷等。這一能力對(duì)無(wú)人系統(tǒng)在真實(shí)世界中的環(huán)境感知與語(yǔ)義建模具有至關(guān)重要的作用。

具身智能大模型是智能無(wú)人系統(tǒng)交互控制的“專(zhuān)用大腦”。具身智能大模型是專(zhuān)為“智能體與環(huán)境交互”設(shè)計(jì)的技術(shù)，其核心特征是將“環(huán)境感知-動(dòng)作決策-反饋學(xué)習(xí)”融入模型架構(gòu)，實(shí)現(xiàn)“感知即決策、決策即控制”的端到端能力。與前2類(lèi)大模型相比，具身智能大模型在訓(xùn)練數(shù)據(jù)上增加了“交互數(shù)據(jù)”（如機(jī)器人的運(yùn)動(dòng)軌跡數(shù)據(jù)、無(wú)人車(chē)的駕駛行為數(shù)據(jù)、人類(lèi)與環(huán)境的交互數(shù)據(jù)），在架構(gòu)上增加了“動(dòng)作預(yù)測(cè)模塊”和“反饋優(yōu)化模塊”，能夠直接輸出控制信號(hào)(如關(guān)節(jié)角度、電機(jī)轉(zhuǎn)速、行駛速度)，而非僅生成文本或圖像。具身智能大模型的關(guān)鍵技術(shù)突破在于“實(shí)時(shí)交互與動(dòng)態(tài)適應(yīng)”：

例如，人形機(jī)器人在行走時(shí)遇到障礙物，模型可在50 ms內(nèi)完成“感知障礙物（視覺(jué)+觸覺(jué)）—調(diào)整步態(tài)（動(dòng)作決策）—輸出關(guān)節(jié)控制參數(shù)（控制）”的全流程，且通過(guò)實(shí)時(shí)反饋（如腳底壓力傳感器數(shù)據(jù)）不斷優(yōu)化動(dòng)作，避免摔倒，通過(guò)具身大模型，可在凹凸不平的地面行走、上下樓梯、搬運(yùn)10 kg重物，動(dòng)作流暢度接近人類(lèi)。

近年來(lái)，人工智能大模型不斷發(fā)展，在具身智能無(wú)人系統(tǒng)中也發(fā)揮著越來(lái)越多的作用。

• 首先，在環(huán)境感知方面，大模型能夠融合并處理來(lái)自攝像頭、激光雷達(dá)、麥克風(fēng)陣列、IMU等多源異構(gòu)傳感器數(shù)據(jù)，通過(guò)其在大規(guī)模數(shù)據(jù)預(yù)訓(xùn)練中獲得的強(qiáng)大表征學(xué)習(xí)能力，提取出更具判別性和泛化能力的特征表示，從而顯著提升系統(tǒng)在遮擋、光照變化、天氣干擾等復(fù)雜條件下的感知精度與魯棒性。

• 其次，在決策與規(guī)劃層面，依托其深厚的常識(shí)知識(shí)庫(kù)和強(qiáng)大的符號(hào)推理能力，大模型能夠基于多模態(tài)感知信息，結(jié)合任務(wù)目標(biāo)與上下文語(yǔ)境，快速生成多種可行的行為方案，并對(duì)各方案的成本、風(fēng)險(xiǎn)與預(yù)期收益進(jìn)行綜合評(píng)估，從而輸出最優(yōu)決策序列，實(shí)現(xiàn)高效任務(wù)分解與運(yùn)動(dòng)規(guī)劃。

• 第三，在系統(tǒng)適應(yīng)與遷移學(xué)習(xí)方面，大模型憑借良好的泛化特性和少樣本學(xué)習(xí)能力，能夠幫助無(wú)人系統(tǒng)快速適應(yīng)新的任務(wù)環(huán)境與操作要求，僅需少量新場(chǎng)景數(shù)據(jù)即可完成模型微調(diào)，大幅提升了部署效率與應(yīng)用靈活性。

盡管大模型為具身智能無(wú)人系統(tǒng)帶來(lái)了革命性進(jìn)展，但是進(jìn)一步發(fā)展仍面臨諸多技術(shù)挑戰(zhàn)。

• 數(shù)據(jù)安全與隱私保護(hù)是首要問(wèn)題，無(wú)人系統(tǒng)在運(yùn)行過(guò)程中可能采集包括個(gè)人身份信息、精確定位數(shù)據(jù)、醫(yī)療記錄在內(nèi)的敏感信息，必須構(gòu)建覆蓋數(shù)據(jù)加密、訪問(wèn)控制、匿名化處理和合規(guī)審計(jì)的全鏈路安全治理體系。

• 此外，模型的可解釋性與可靠性同樣是亟待突破的瓶頸，由于大模型固有的“黑盒”特性，其決策邏輯往往難以追溯和解釋?zhuān)@在自動(dòng)駕駛、手術(shù)機(jī)器人等高可信要求場(chǎng)景中可能帶來(lái)難以估量的風(fēng)險(xiǎn)，因此需大力發(fā)展可解釋人工智能（XAI）技術(shù)，實(shí)現(xiàn)決策過(guò)程的可視化、可溯源與可驗(yàn)證。

• 另一方面，大模型訓(xùn)練與推理所需的高性能計(jì)算資源與能源消耗，也限制了其在微型無(wú)人機(jī)、便攜機(jī)器人等終端設(shè)備中的部署。為應(yīng)對(duì)這一挑戰(zhàn)，“邊緣-云”協(xié)同計(jì)算架構(gòu)逐漸成為主流解決方案，通過(guò)將實(shí)時(shí)性要求極高的感知與控制任務(wù)部署于邊緣計(jì)算節(jié)點(diǎn)，將大規(guī)模數(shù)據(jù)預(yù)處理、模型訓(xùn)練與復(fù)雜推理任務(wù)卸載至云端，從而實(shí)現(xiàn)計(jì)算資源的高效分配與系統(tǒng)能效的優(yōu)化平衡。

展望未來(lái)，人工智能大模型仍將持續(xù)驅(qū)動(dòng)具身智能無(wú)人系統(tǒng)邁向更高水平。

• 首先，多模態(tài)感知與端到端控制模型的泛化能力將得到進(jìn)一步加強(qiáng)，從而顯著提升系統(tǒng)在高度非結(jié)構(gòu)化、動(dòng)態(tài)開(kāi)放環(huán)境中的適應(yīng)性與生存能力。

• 其次，融合模型預(yù)測(cè)控制、強(qiáng)化學(xué)習(xí)與仿生控制機(jī)制的新型智能控制框架，將有效增強(qiáng)系統(tǒng)在復(fù)雜動(dòng)態(tài)場(chǎng)景中的行為泛化能力和抗干擾能力。

• 第三，“虛實(shí)協(xié)同”訓(xùn)練范式將得到更廣泛應(yīng)用，通過(guò)高保真物理仿真環(huán)境與世界模型技術(shù)，智能體可在虛擬空間中完成大規(guī)模預(yù)訓(xùn)練和策略?xún)?yōu)化，再通過(guò)真實(shí)世界數(shù)據(jù)進(jìn)行快速微調(diào)，從而大幅提升任務(wù)執(zhí)行效率并降低實(shí)體訓(xùn)練風(fēng)險(xiǎn)。

• 最后，多智能體協(xié)同與分布式智能將成為重點(diǎn)發(fā)展方向，通過(guò)構(gòu)建標(biāo)準(zhǔn)化的智能體協(xié)作協(xié)議，并結(jié)合聯(lián)邦學(xué)習(xí)、同態(tài)加密等隱私計(jì)算技術(shù)，實(shí)現(xiàn)智能體間的高效通信、協(xié)同決策與安全協(xié)作，從而全面拓展具身智能無(wú)人系統(tǒng)在低空經(jīng)濟(jì)、智慧城市、智能制造、智慧農(nóng)業(yè)、太空探索、國(guó)防安全等重大場(chǎng)景中的應(yīng)用潛力。

文章來(lái) 源 ： 王耀南. 人工智能大模型推動(dòng)具身智能無(wú)人系統(tǒng)發(fā)展[J]. 科技導(dǎo)報(bào), 2025, 43(20): 1-2 .

內(nèi)容為【科技導(dǎo)報(bào)】公眾號(hào)原創(chuàng)，歡迎轉(zhuǎn)載
白名單回復(fù)后臺(tái)「轉(zhuǎn)載」

《科技導(dǎo)報(bào)》創(chuàng)刊于1980年，中國(guó)科協(xié)學(xué)術(shù)會(huì)刊，主要刊登科學(xué)前沿和技術(shù)熱點(diǎn)領(lǐng)域突破性的研究成果、權(quán)威性的科學(xué)評(píng)論、引領(lǐng)性的高端綜述，發(fā)表促進(jìn)經(jīng)濟(jì)社會(huì)發(fā)展、完善科技管理、優(yōu)化科研環(huán)境、培育科學(xué)文化、促進(jìn)科技創(chuàng)新和科技成果轉(zhuǎn)化的決策咨詢(xún)建議。常設(shè)欄目有院士卷首語(yǔ)、科技新聞、科技評(píng)論、專(zhuān)稿專(zhuān)題、綜述、論文、政策建議、科技人文等。