新質策源導刊丨薛瀾：從“動口”到“動手”：如何為AI智能體劃好安全紅線？

人類如何與AI智能體共處

編者按

新質策源導刊的第二期，我們聚焦AI智能體（AI Agent），不僅僅因為它當下的熱度，更因為我們看到了它對未來的影響。我們深度訪談行業頂級專家、資深研究人員、國內外知名企業，盡力描繪當下AI時代的真實圖景，展望未來的各種可能性，在不確定性中尋找確定性。

這個領域創新不斷，猶如科幻即將照入現實。我們想知道的不只是近在咫尺的明天會怎樣，更想知道今天我們做的一切，會對不遠的未來產生什么樣的影響，誠邀您和我們一起，探索新AI時代。敬請關注本期策劃——“人類如何與AI智能體共處”。

——訪清華大學文科資深教授、蘇世民書院院長薛瀾

■中國經濟時報記者張一鳴■見習記者 姚俊臣

歲末年初，國內外多款AI智能體（AI Agent）產品紛紛亮相。從主打內容生成的大語言模型，到具備自主決策與執行能力的智能體系統，人工智能正加速從虛擬世界走向現實場景，安全發展的需求隨之迫切。圍繞技術發展、風險結構和治理路徑，中國經濟時報記者日前專訪了清華大學文科資深教授、蘇世民書院院長薛瀾。

從“動口”到“動手”：AI智能體加速融入現實場景

中國經濟時報：近期，國內外涌現出很多AI智能體產品，例如OpenClaw，并且迅速爆火，還出現了所謂的“人工智能社區”。您如何看待這一現象？

薛瀾：過去我們常說，人工智能賦能千行百業，但真正的“賦能”，必須嵌入現實運行系統。自ChatGPT問世以來，大語言模型的核心能力主要停留在文本與圖像生成，本質上仍是對“下一個詞”的概率預測。但近期興起的AI智能體則明顯不同，它不僅能夠生成內容，還能夠圍繞目標進行決策和執行。從某種意義上說，AI智能體正在從“動口”走向“動手”，不光能夠理解語言符號，還能理解環境變化，并據此展開行動。

至于爆火的OpenClaw，雖然有人指出這個所謂的“人工智能社區”背后完全是真人在操縱，但從目前人工智能的技術水平和發展規律來看，出現AI智能體之間相互討論、辯論甚至協作的情況，是完全可以預期的。這恰恰反映出人工智能發展到一定程度后能力的顯著提升和自主性的不斷增強。而這種自主性，也是我們在設計AI智能體的時候就期望它具備的特征。我認為，這是技術迭代的必然結果，也是一種讓人喜憂參半的趨勢——我們希望AI智能體“善解人意”，但也害怕AI智能體“自作主張”。

因此，人工智能技術從虛擬空間走向現實場景，從“動口”轉向“動手”，就需要我們更加小心，防止產生新的風險。

從認知偏差到物理傷害：AI智能體更需設置安全護欄

中國經濟時報：您提到這個階段需要更加小心，相比于大語言模型，AI智能體在提供方便的同時產生的風險有什么不同？

薛瀾：在大語言模型階段，我們主要需要考慮文本層面的風險，例如算法偏見、AI幻覺等。但是，融入現實場景的AI智能體會造成物理性的傷害，比如醫療機器人可能操作不慎帶來醫療事故，家政機器人操作不當引發火災，等等，這就要求我們在安全機制設計上更加謹慎。

當AI智能體的自主性不斷增強時，我們也要考慮未來的某一天它是不是會出現“不聽話”的情況，甚至反過來指揮人類？已經有一些研究發現，有的人工智能系統具有“自我保護意識”，當面臨被斷電、修改數據或替換的時候，會采取策略性回應，甚至以泄露隱私相要挾。雖然這種發現還停留在實驗室階段，但它表明了一種可能性，那就是高度自主的人工智能系統有可能會在與人類目標不一致時選擇與人類博弈。

中國經濟時報：具體而言，您認為當前我們需要關注哪些風險？

薛瀾：目前主要有三類風險需要關注。第一類是技術系統自身的風險，包括系統失控、AI幻覺等問題。例如，在醫療等高風險場景中，對系統穩定性和準確性的要求極高；第二類是技術惡用和濫用風險，必須防范人工智能被用來干壞事，如被用于制造生物威脅、進行網絡攻擊等；第三類是更為長遠的社會系統風險，AI智能體大規模融入現實生活，可能對就業結構、收入分配和社會認知產生深遠影響，需要警惕可能引發的社會矛盾。

中國經濟時報：面對這些風險，我們該如何應對？

薛瀾：任何一項新技術要在社會中廣泛應用，就必須有一整套社會技術系統予以保障，包括硬的基礎設施和軟的制度體系。不妨回顧一下汽車的發展歷史。汽車剛被發明時，速度不快，影響范圍比較小。隨著技術不斷改進，汽車的速度提升，對更好的道路產生需求，要求政府投資修建更好的高速公路；行駛距離延長又產生了汽車加油的需求，據此政府和市場合作逐步建立起加油站網絡；但如果開車的人都是“馬路殺手”，事故頻出也是很危險的。于是，交通法規、行車駕照考核等制度體系相繼出現。

AI智能體在社會廣泛推廣應用也是如此，我們既要關注像道路、加油站網絡這樣“硬設施”的建設，也要關注技術標準、管理機制這樣“軟設施”的推進，只有當這些配套體系逐步成熟，技術才能走上安全的發展道路。

圖片來源/新華社

劃好安全紅線：在“共同無知”中推進敏捷治理

中國經濟時報：您一直倡導“敏捷治理”，這一理念對于當前的AI智能體是否具有現實意義？

薛瀾：人工智能技術發展具有高度非線性特征，很難通過線性思維推測其未來形態。我們在企業調研時發現，對于人工智能未來是什么形態、會出現哪些風險，企業本身不是很清楚，政府同樣也不清楚。我把這種狀態稱作“共同無知”。

過去我們談監管，常將政府比作貓，違反監管的企業比作老鼠，貓的任務是找老鼠、抓老鼠，而老鼠總想著鉆空子。大家互相防范，產生高度的信息不對稱，很容易陷入更大的風險。而且，雖然我們的治理體系會盡可能在事前有所預判，但預先把技術應用的所有潛在風險都考慮周全，是非常困難的。

在這種情況下，政府與企業之間的關系可能需要發生變化。這就需要政府和企業更有效地合作，使我們的治理機制具備一定的動態適應能力：在技術應用中發現問題，在問題出現后迅速響應，通過規則修訂、標準完善和技術優化加以解決。這種在發展中不斷優化、不斷治理的過程就是“敏捷治理”。

中國經濟時報：AI智能體的發展日新月異，對“敏捷治理”有沒有更高要求？

薛瀾：從宏觀層面看，AI智能體的治理邏輯與大語言模型沒有本質差異。但不同之處在于，AI智能體進入現實場景，風險類型更加多元，也對制度配套提出更高要求。好的一點是，我們并不是從零開始，很多領域已經逐步建立起完善的法律法規體系。現在要解決的問題是，原來的規制有哪些是合理的可以照用，有哪些不合理的需要調整。這就要求我們的監管部門提前開展研判評估，對現行法律法規進行系統梳理和動態調整。

中國經濟時報：對AI智能體，我們是否仍然要堅持“邊發展邊治理”的思路？

薛瀾：我認為，在現實條件下，這是比較可行的路徑。首先必須劃好不可逾越的紅線——凡是涉及國家安全、生命安全和重大公共利益的領域，監管的底線必須清晰。但在基本的紅線確定后，還是要給予技術充分的探索空間。因為人工智能技術始終處于不斷發展、不斷變化的過程中，我們只能是在發展的過程中，不斷捕捉新問題、解決新問題。“敏捷治理”也是希望盡可能縮短從出現問題到治理響應的時間差。因為技術發展的速度一定是比制度變革的速度要快的，在人工智能領域更是這樣。

總 監 制丨王列軍車海剛

監 制丨陳 波 王 彧 楊玉洋

主 編丨毛晶慧 編 輯丨蔣 帥