(本文編譯自Semiconductor Engineering)
物理人工智能(Physical AI)有望使從機器人到各類移動邊緣設備的一切變得更具交互性和實用性,但它將顯著改變系統(tǒng)的設計、驗證和監(jiān)控方式。
物理AI系統(tǒng)既需獨立運行,也需協(xié)同工作。它們需要具備快速在本地做出決策的能力,通常比其他類型的人工智能耗能更少,并且比目前許多大型AI系統(tǒng)更加專注。同時,它們還需要能夠在必要時利用云端幾乎無限的處理能力,并根據(jù)可能不足的數(shù)據(jù)實時做出概率選擇。此外,當與代理AI結合時,這些設備需要能夠使用并非總是精確的自然語言和手勢指令與人類進行交互。
過去,這些領域在很大程度上是相互獨立的,而銜接這些不同領域將給芯片設計團隊帶來一系列新的挑戰(zhàn)。他們需要全面了解從必須融入物理設計流程的人工智能算法,到芯片架構所面臨的獨特需求等方方面面的內容。他們還需要了解如何利用AI驅動的工具進行優(yōu)化、布局和布線,以滿足更嚴格的功耗、性能和面積約束,并處理極端的MAC計算、大規(guī)模并行計算以及多種類型存儲器的集成。
Cadence高級產品營銷部總監(jiān)Mick Posner表示:“過去幾年,我們聽到了很多關于AI的討論,但大多集中在數(shù)據(jù)中心方面,我們知道AI分為兩個方面,即訓練和推理兩部分。物理AI將AI處理轉移到邊緣和終端設備,而物理AI的定義,在于你與AI的交互。這類場景對延遲敏感,需要AI快速做出決策。因此數(shù)據(jù)處理必須在終端設備、在邊緣端完成。”
實現(xiàn)物理AI需要許多技術支撐。其中之一就是自然語言處理。“你對機器人說‘我想讓你幫我拿一杯牛奶。’它需要準確理解這句話的含義,這就要求終端運行大語言模型,”Posner表示,“而物理AI的‘物理屬性’體現(xiàn)在行動執(zhí)行上——也就是機器人‘從冰箱里取出牛奶’的具體操作。類似地,在航空航天與國防領域,目標檢測、目標捕獲等任務也需要實時完成數(shù)據(jù)處理,才能滿足應用需求。”
![]()
圖1:物理AI系統(tǒng)橫跨多個市場。
(圖源:Cadence)
對于物理AI硬件,存在AI視角和通用硬件視角。“物理AI硬件可以從兩個角度來思考,”新思科技移動、汽車和消費IP產品管理執(zhí)行總監(jiān)Hezi Saar指出,“首先是適應AI算法或AI機器變化的能力。這包括設備上可能需要進行的所有學習,例如流水線如何工作、如何預處理數(shù)據(jù)、如何以最佳方式利用資源以及系統(tǒng)如何高效運行且不崩潰。所有這些都需要深思熟慮,這非常困難,因此留出足夠的余地并采用多種方法來適應變化非常重要。”
物理AI通常被視為邊緣計算的一個子集,但二者存在本質區(qū)別。Saar表示:“與人類或環(huán)境的直接交互是物理AI的獨特之處。”邊緣AI連接到云端,且部署于終端設備。物理AI同樣位于終端設備上,擁有超越常規(guī)邊緣AI的獨特功能。以通用人工智能(AGI)為例,初期在手機等設備中以AI助手形式存在時,其交互主要依賴軟件功能——我們可以通過語音或文本向助手發(fā)出指令,獲取所需反饋。但當提及‘物理’屬性,物理AI可關聯(lián)多種應用場景,它包含實體組件,能夠接收環(huán)境信息或對環(huán)境產生影響。在物理領域,自動駕駛出租車就是典型案例,機器人與無人機也具備類似特性,能夠接收環(huán)境輸入或通過輸出作用于環(huán)境。我們創(chuàng)建的AI智能體多為軟件形態(tài),而物理AI智能體則是實體存在,能夠為人類完成具體工作。未來的關鍵轉變在于社會層面的接納度——整個社會將如何融入這一技術,人們又將如何接受這類實體智能體。”
物理AI最初應用于工業(yè)應用場景。“以工廠為例,假設有多臺熔爐需要定期維護和監(jiān)控,”西門子EDA芯片驗證與EDA人工智能產品負責人Sathishkumar Balasubramanian介紹道,“過去,工作人員需要親自爬上梯子檢查設備狀態(tài)。而借助物理AI,我們可以在故障發(fā)生前進行預測,或基于強化學習、過往經驗以及傳感器監(jiān)測到的各類數(shù)據(jù),預判維護周期。通過分析數(shù)千種參數(shù)組合,我們能夠確定特定配置下可能導致故障的因素,或判斷預防性維護的最佳時機。物理AI能夠實時監(jiān)控并獲取數(shù)據(jù)。幾乎所有潛在問題都能通過物理AI提前預判。物理AI的核心目標是提升人類的生活體驗,既包括終端產品的使用體驗,也包括使用者的工作體驗。在工業(yè)場景中,這意味著確保工廠的預防性維護工作順利開展,減少高風險崗位的人力投入,無需工作人員冒險排查故障或實時監(jiān)控設備。物理AI本質上是工業(yè)物聯(lián)網與邊緣端工業(yè)人工智能的融合產物。”
系統(tǒng)級物理AI
物理AI也需要考慮系統(tǒng)級因素,因為它需要進行更多本地化的邊緣計算和通信。Arteris首席營銷官Michal Siwinski表示:“這不僅包含與數(shù)據(jù)中心之間的往返交,這一點與其他邊緣設備并無差異,仍需妥善處理。但這些系統(tǒng)將會交織在一起。處理這類場景時,相當于硬件版本的智能體AI,它們不再孤立存在,而是位于邊緣的自有系統(tǒng)的一部分,可以自主運行和通信。這需要巨大的帶寬支撐海量數(shù)據(jù)傳輸,還涉及各類不同的計算任務。物理AI基本上意味著系統(tǒng)具備智能,相當于在其中構建了一臺龐大的超級計算機,且需要實現(xiàn)更多分布式計算的同步。”
物理AI涉及實體運動,需要傳感器、MEMS器件以及模擬/混合信號系統(tǒng)支持。“這意味著我們現(xiàn)在必須關注混合電平信號,并理清信息是如何流動的,”Siwinski表示,除此之外,還需對所有這些組件進行協(xié)調管理。系統(tǒng)可能是分布式或非分布式的,但由于存在眾多異構子系統(tǒng),必須具備一個集中式‘大腦’。”
從本質上看,物理AI是AI與物理世界的融合。“過去,AI局限于數(shù)字領域,”德州儀器高性能處理器總經理Artem Aginskiy表示,“它收集信息、處理數(shù)據(jù)并輸出答案,但無法在物理世界中推理或采取行動。有了物理AI,過去主要在遠程服務器上進行的數(shù)據(jù)處理現(xiàn)在可以在本地進行,并轉化為現(xiàn)實世界中的具體動作。與邊緣AI的概念類似,邊緣AI是指網絡邊緣應用程序能夠通過嵌入式處理器(如MCU和MPU)和軟件在本地使用AI。兩者的關鍵區(qū)別在于,物理AI不僅是感知和處理,還指這些應用程序采取的行動。物理AI和邊緣AI都將更多的智能和自動化帶到它們能夠發(fā)揮最大影響的場景中。”
物理AI將AI直接應用于現(xiàn)實世界,機器必須在與人類共享的環(huán)境中感知、解讀和行動,因此融合多模態(tài)感知、邊緣計算和持續(xù)學習,使機器人、車輛或基礎設施資產能夠自主、安全地行動。
BrightAI創(chuàng)始人兼首席執(zhí)行官Alex Hawkinson表示:“當大多數(shù)AI系統(tǒng)都面臨新數(shù)據(jù)枯竭的困境,而物理AI才剛起步,它正在從物理世界中挖掘數(shù)十億個此前未曾開發(fā)的信號,并將其轉化為切實可行的洞察。物理AI是物理世界的實時操作系統(tǒng),使管道和電線桿等物理資產完全可觀察并由數(shù)據(jù)驅動。”
不同的數(shù)據(jù),不同的處理
用于邊緣AI和物理/終端AI所使用的數(shù)據(jù)是不同的,對這些數(shù)據(jù)的處理方式與需求也各不相同。
Ambiq人工智能副總裁Carlos Morales表示:“在在邊緣端部署人工智能,能實現(xiàn)極低的延遲,這意味著數(shù)據(jù)傳輸速率大幅降低,無需回傳海量數(shù)據(jù)。從功耗角度來看,由于射頻傳輸,功耗也會降低。這方面的優(yōu)化空間已較為有限,但通過本地預計算,可大幅減少傳輸?shù)臄?shù)據(jù)量。”
物理AI開發(fā)者渴望能夠利用現(xiàn)實世界的數(shù)據(jù)。“我們看到,邊緣計算領域非常注重功耗和節(jié)能設計,以便監(jiān)控數(shù)據(jù),因為物理AI依賴于與現(xiàn)實世界和電子設備的交互,”西門子EDA的Balasubramanian表示,“這實際上取決于特定的用例場景。例如,工業(yè)機器人可能有不同的場景需求,但核心在于是否能夠高效地利用現(xiàn)實世界的數(shù)據(jù)并快速做出決策,在物理AI中,它需要快速自主地做出決策,這意味著邊緣端、終端設備及物理AI機器人系統(tǒng)中,需要搭載高效的特定領域模型和精簡代碼,確保行為與功能無延遲。”
延遲是關鍵。“現(xiàn)在物理AI機器人的每個關節(jié)上都裝有傳感器,”Ambiq的Morales表示,AI被部署在這些傳感器端,形成控制回路。這不像章魚的運作方式——章魚的每條觸手都有一個小型‘大腦’,而非依賴中央大腦統(tǒng)一控制。你肯定不希望一個腦袋拖慢整個系統(tǒng)的速度。因此,在傳感器端直接進行物理驅動控制(如異常檢測)至關重要。此外,根據(jù)不同事件動態(tài)切換模型也很關鍵。”
業(yè)內人士預計,現(xiàn)實世界中將涌現(xiàn)出大量執(zhí)行AI驅動的感知、規(guī)劃和控制的機器人。ChipAgents首席執(zhí)行官William Wang表示:“芯片公司面臨著對異構、確定性邊緣SoC(CPU/GPU/NPU/DSP)的需求,這些SoC需要在嚴格的功率和安全限制下,滿足傳感器融合、策略和驅動的端到端嚴格期限。前端設計與驗證優(yōu)先級轉向:(1)延遲受限的數(shù)據(jù)流(暫存器、DMA、QoS、中斷延遲);(2)混合關鍵性隔離(安全島、鎖步、ECC);(3)RTL的實時屬性(截止期限/吞吐量斷言、WCET式檢查);(4)機器學習在環(huán)驗證,其中感知錯誤與控制器邏輯一起建模。EDA必須通過物理/數(shù)字孿生仿真、基于場景的刺激生成、控制不變量的形式化檢查,以及涵蓋極端情況環(huán)境和RTL狀態(tài)的驗證方法,實現(xiàn)硬件、軟件與機器學習的協(xié)同設計。”
ChipAgents等公司的Agentic AI工具可用于協(xié)調這些需求。它們可以在加速器和軟件之間自動劃分感知與控制,合成遵循周期精確延遲預算的RTL,并生成從模擬器(如動態(tài)遮擋、滑移、延遲)到壓力接口和安全路徑的場景套件。它們還可以持續(xù)在PPA與閉環(huán)穩(wěn)定性/吞吐量之間進行權衡,從而縮短機器人芯片的迭代測試修復周期。
物理AI將一些驗證環(huán)節(jié)從實驗室轉移到了實際應用場景中。“模型和硬件不僅要在模擬環(huán)境中進行驗證,還要在天氣、磨損和人為錯誤等現(xiàn)實條件下進行驗證,”BrightAI的Hawkinson表示,“這需要新的設計流程和持續(xù)的驗證。這意味著要確保傳感器、芯片和AI模型作為一個集成系統(tǒng)協(xié)同工作,并在最少的人為監(jiān)督下運行。”
物理AI的眾多需求之一是隱私,尤其是在具備監(jiān)聽功能的設備中。“它這類設備可能不會記錄你所說的內容,也不會真正理解你的話語,但能通過你的說話方式和語音模式,檢測出早期癡呆癥的跡象,”Ambiq的Morales表示,“隱私和安全性都很重要。開發(fā)人員也重視低延遲,以實現(xiàn)即時響應和節(jié)能。”
結語
即將到來的物理AI設計熱潮,將以海量且多樣化的設計啟動為顯著特征。“需求越來越多,而且各不相同,因此重點將放在基于不同垂直領域的定制芯片開發(fā)上,”西門子EDA的Balasubramanian表示,“終端需求與運行環(huán)境都會有所不同,因為一旦進入物理AI領域,芯片面臨的外部環(huán)境影響遠超過普通芯片。它們不再處于受控環(huán)境中,因此設計出穩(wěn)健可靠的產品、充分理解終端產品的應用場景需求,將成為關鍵。芯片與系統(tǒng)架構師需要全面考量,明確PPA的約束范圍,同時兼顧運行環(huán)境要求。這在一定程度上由軟件棧決定,并將指導該特定芯片或系統(tǒng)的整體開發(fā)過程。物理AI的成功之道不在于試圖面面俱到,而應聚焦自身優(yōu)勢領域,再將成熟的應用場景復制到更多類似場景中。”
挑戰(zhàn)還會更大。Cadence的Posner表示:“把它看作是它自己的單片設計。如果只是做簡單的目標檢測,單一芯片就足夠了。但隨著功能復雜度提升,需要配套的AI加速器、CPU,以及一個或多個特定領域處理器。”
為此,EDA工具、驗證和仿真都需要實現(xiàn)指數(shù)級升級,因為單芯片的設計管理已頗具難度,多個芯片的協(xié)同設計更是難上加難。工工程師們需要實時追蹤所有設計細節(jié),找到“分而治之”的解決方案,確保設計出的系統(tǒng)既能對不同傳感器輸入做出最優(yōu)響應,又能在整個生命周期中持續(xù)學習與迭代進化。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.