物理人工智能面臨的安全風險

（本文編譯自Semiconductor Engineering）

具備通用人工智能的人形機器人距離真正進入我們的日常生活還有數年時間，但特定應用領域的機器人早已問世。從亞馬遜物流中心的機器人車隊，到手術室的外科手術機器人、搜救機器狗、自主無人機和最后一公里配送機器人，再到常見的掃地機器人，物理人工智能系統正變得越來越智能，也越來越貼近人類生活。

先進的3D傳感器、人工智能攝像頭、語音接口和軟件定義激光雷達通過機器學習算法發揮關鍵作用，為物理人工智能賦予眼睛、耳朵和嘴巴。下一步則是將大語言模型（LLM）作為“大腦”，解讀傳感器收集的信息，并根據其初始訓練數據和持續的學習經驗反饋循環，指導機器人后續操作。最終目標是讓更多機器人融入人類的日常生活，但這些系統可能出現故障的原因尚不明確。

“現在判斷人機交互將如何發展還為時過早，”西門子EDA公司IC驗證與EDA人工智能產品負責人Sathishkumar Balasubramanian表示，“我們目前看到的大多是原型產品，尚未出現真正大規模應用的案例，但值得關注的是，人們在相關技術研發和交互設計上始終保持高度謹慎，這都源于我們需要理解自動化機器人對其交互對象（無論是人類、水瓶還是其他物品）的認知視角。

在物理人工智能領域，首要任務是掌握如何解讀物理環境并理解其各種屬性，機器人需要全面感知周圍一切，這也是當前研發投入的核心方向。其次，傳感器領域正取得顯著進展，物理人工智能系統的感知能力依賴于這些傳感器和生物傳感器的技術突破。我認為該領域目前仍處于非常早期的階段，除非未來5到10年內出現重大技術變革，否則市場演進速度將會相當緩慢。”

人工智能行業目前正處于陡峭學習曲線的起點。“無論是邊緣人工智能還是物理人工智能，我們都處于增長初期，”新思科技移動、汽車和消費知IP產品管理執行總監Hezi Saar表示，“云人工智能可能不會衰退，但一旦具備利用物理人工智能為消費者提供服務的能力，其增長速度就不會再像以前那樣快了。它需要觸手可及——無論是在我們手中、交通工具里還是機器人身上，同時還需具備經濟性和低功耗特性，真正服務于人類需求。我們看到需求正在增長，而且越來越多的SoC)正在實現這些功能，但行業尚未進入穩定階段。”

物理人工智能設備正在快速發展，人工智能模型也在同步演進。“人工智能正從工具轉變為伙伴，人們的期望也在不斷提高，并逐漸影響其選擇，”Arm客戶業務線高級副總裁兼總經理Chris Bergey表示，“這種轉變是由大語言模型和智能體人工智能的重大進步所驅動的。這些模型不再是靜態的，而是能夠推理、規劃并代表用戶采取行動的動態系統。其結果是，人機交互不再像下達指令，而更像是協作過程。人工智能已從昔日的‘新奇技巧’，演變為影響工作與生活方式的核心力量。”

人與機器人，或者任何類型的自動化系統或自主系統之間的動態關系，使得物理人工智能領域比其他領域更具挑戰性。“在機器人領域，可能仍然需要人參與某個環節，也可能完全不需要人為操作，”Imagination Technologies工程和技術負責人、系統與功能安全工程專家Andrew Johnson表示，“環應用場景可能是危險環境，比如高溫、高輻射等，此時機器人便能發揮作用。但是，人為因素仍不容忽視。有時，人與機器的交互方式會因為機器學習而不斷演變，其目的就是為了讓人類的生活更便捷。”

正如人工智能模型會不斷變得更加智能一樣，安全工程師也需要不斷提升自身技能。“我們需要考慮能力管理，并關注人員、流程和開發框架，而不僅僅是工具和技術，” Johnson表示，“如果能做到這一點，無論是在設計開發和驗證工具中運用人工智能/機器學習，還是在產品中采用相關技術實現自動化或自主決策，我們都將看到更高的效率和效果。”

就安全而言，最關鍵的是機器人能夠正確識別人類，并不會對其造成傷害。Synaptics公司技術與創新副總裁David Garrett表示：“機器人周圍的隔離區非常重要。”他以2022年的一起事故為例：“當時一個機器人手正在下棋，孩子在機器人落子前來得及收回手，機器人移動時直接折斷了他的手指。”互聯網上充斥著其他涉及機器人在實驗室、工廠甚至節日場合發生的事件。

將大語言模型作為其認知框架一部分的物理人工智能系統，為安全性和可靠性增帶來了額外的挑戰。“不僅硬件或其他處理器需要進行嚴格的測試，AI本身也需要進行嚴格的測試，”是德科技首席安全分析師Rajesh Velegalati表示，“我們認為，目前針對各個領域部署的AI，尤其是用于機器人或無人機的AI，安全審查還不夠充分。”

物理人工智能軟硬件驗證

雖然行業焦點大多集中在軟件功能上，但如果沒有底層半導體硬件，這一切都無法實現。物理人工智能芯片可能在各種環境溫度和條件下使用，有時會處于高負載運行狀態，有時則處于休眠模式。這增加了芯片設計以及驗證的難度。

驗證工程師應該充分利用所有工具——仿真、仿真加速、形式驗證，甚至數字孿生。“物理人工智能系統非常復雜，因此需要借助形式驗證等技術，確保仲裁器等組件在最底層也能正常工作，”Cadence驗證軟件產品管理高級總監Matthew Graham表示，“此外，還需利用軟硬件協同驗證。”

過去，工程師可以根據需要選擇使用哪些驗證技術。“他們可能會說，‘我們不需要進行形式化驗證，也不需要過多關注功耗，因為我們的產品并不涉及這些領域，’”Graham表示，“但實際上，每個微芯片都需要從功耗的角度進行考量。它可能不是低功耗設備，但廠商肯定希望優化功耗，尤其是在人工智能時代。每個設備都需要確保其底層某些基本功能的運行正確性。”

大語言模型的訓練方式對安全性有著顯著影響。“如今的邏輯模型首先要用非常龐大的數據集進行訓練，然后通過人機交互進行改進和強化，”Rambus公司安全IP高級技術總監Scott Best表示，“這些系統隨后可以利用專門的數據進行進一步訓練，成為適用于‘思維鏈’智能體應用的推理模型，能夠以閉環方式根據測量結果生成自身的刺激。”

因此，工程師需要為物理人工智能系統和大語言提供保障。“人可能會走錯路，也可能以錯誤的方式使用它們，所以他們需要確保并防止這種情況發生，”新思科技公司的Saar指出。

用以訓練LLM和物理AI的仿真技術

許多物理AI系統，如人形機器人或機器狗，被創造出來是為了作為視障人士和老年人的輔助工具，或協助急救人員。

“當然，就像任何技術一樣，機器人也可能被濫用，”亞利桑那州立大學計算機與增強智能學院助理教授、系統學習評估與自然化實驗室主任Ransalu Senanayake表示。

LENS Lab的機器人系統最初與大語言模型相連，隨后逐步整合計算機視覺（CV）模型和視覺語言模型（VLM），如今已升級為基于視覺-語言-動作模型運行。

“所有這些大語言模型——我稱之為大型文檔模型——都容易產生幻覺現象，” Senanayake表示，“關鍵在于實現‘可控幻覺’，即我們能夠以新的方式了解它們的思維方式，能夠對其進行評估，若存在問題便及時舍棄，若具備價值則進一步推進應用。”

這些大語言模型基于標準模型進行訓練，然后根據具體場景進行調整。

同樣，英偉達也利用仿真技術來訓練其Groot N1開源、可定制的跨實體機器人基礎模型。“與可以利用互聯網上所有人類知識進行訓練的LLM模型不同，目前尚無此類數據可用于訓練物理AI模型。獲取真實世界的數據成本高昂且可能存在危險，而預訓練對于訓練像Groot這樣的模型來說作用有限，”英偉達Omniverse和仿真技術副總裁Rev Lebaredian表示，“我們需要一種可擴展且經濟高效的方式來生成龐大、多樣化且物理上精確的數據。”

為此，最新版本的Groot N1.6將采用該公司自主研發的Cosmos Reason世界基礎模型（WFM）作為其大腦，使人形機器人能夠分解復雜指令，并利用先驗知識和常識執行任務。同時，新版本的Cosmos Transfer和Cosmos Predict WFM將賦予人形機器人更大的軀干和手臂活動自由度，從而實現更靈活的移動和操控。“這些模型能夠生成數百個富含傳感器的虛擬環境用于機器人訓練，從而減少對現實世界數據采集的依賴，”Lebaredian表示。

在機器人正式投入使用前，仿真在確保其功能安全方面發揮著關鍵作用。“因此，構建盡可能貼近真實世界的物理精確模擬器至關重要，這樣我們就能在機器人真正投入物理世界、擁有實體之前，在多樣化環境中對單個機器人及機器人車隊進行數百萬小時的模擬運行測試，”Lebaredian指出。

仿真技術對于訓練基于物理或受物理信息影響的人工智能尤其有用，例如，這些人工智能需要能夠在工廠車間內導航。“物理學非常適合創建合成數據，因為物理本質是恒定的，”Ansys（現為新思科技子公司）產品營銷總監Marc Swinnen表示，“這與人員地址、收入或其他非物理數據不同，后者需要真實數據來訓練人工智能。我們可以模擬各種物理過程，這正是基于物理的人工智能的優勢所在。我們可以在不使用任何客戶或第三方數據的情況下，訓練人工智能模型并提供給客戶。硅材料中的熱傳導規律始終如一，與客戶身份無關，這讓整個訓練過程更高效便捷。”

結語

自動化技術和各類機器人已在某些行業站穩腳跟，但這僅僅是物理人工智能系統融入日常生活的開端。其終極形態將是：人形機器人與仿生動物機器人擁有親和的外觀，能夠在絕大多數地形上靈活移動，并搭載高度定制化的人工智能模型。

隨著物理人工智能復雜性的不斷增加，安全框架構建至關重要。“我們面臨的是海量數據、來自多源的復雜輸入數據集、復雜模型與復雜算法，而相關工具本身也具有內在復雜性，”Johnson表示，“除此之外，通用軟件棧同樣復雜，需要計算密集型硬件來應對這種復雜性的實時處理需求。”

整個行業的相關活動正持續升溫。變革即將到來，未來幾年，機器人將大規模應用普及，從新奇事物走向日常生活。現在的挑戰是如何確保新技術的整合盡可能平穩順暢。