李飛飛最新長文，講述空間智能的前世今生

　　李飛飛，剛剛發(fā)布了一篇長長長長文。

　　這篇名為《從語言到世界：空間智能是AI的下一個前沿》的文章，像是一篇關(guān)于世界模型、空間智能的綜述，解釋了空間智能和世界模型的關(guān)系，以及空間智能的應(yīng)用范圍和所處階段。

　　*她在推特上聲稱，AI的下一個前沿領(lǐng)域是空間智能，這項技術(shù)將把視覺轉(zhuǎn)化為推理，感知轉(zhuǎn)化為行動，想象轉(zhuǎn)化為創(chuàng)造。

　　當(dāng)然，李飛飛此時發(fā)文，很可能也是為自己創(chuàng)辦的公司 World Labs 造勢。

　　成立于2024年4月的 World Labs，致力于攻克空間智能。它在2024年9月宣布獲得2.3億美元融資，投資者包括 a16z、英偉達、AMD、英特爾、Hinton、領(lǐng)英創(chuàng)始人 Reid Hoffman、谷歌首席科學(xué)家 Jeff Dean、谷歌前 CEO Eric Schmidt 等一眾大佬。

　　一個多月前——也就是官宣融資一年后，World Labs 推出了空間智能模型 Marble 預(yù)覽版，目前處于限量開放階段。

　　據(jù)官方介紹，Marble 模型僅憑一張圖片或文本提示就能生成持久存在、可無限探索的3D世界。

　　之前這一方向的代表是谷歌 Genie。在發(fā)布 Marble 時，李飛飛及團隊曾回應(yīng)稱自家模型的獨特之處是能生成永久持續(xù)的“世界”。用戶可以隨時訪問已創(chuàng)建的世界，后續(xù)再次訪問時，場景結(jié)構(gòu)、細節(jié)能完全保持一致，而非短暫的交互體驗。

（*一些用Marble生成的場景示例，生成后可以讓用戶進行自主探索）

　　在這篇最新的長文中，李飛飛強調(diào)的空間智能核心觀點如下：

　　真正具有空間智能的世界模型必須實現(xiàn)的框架：它能像講故事的人一樣進行創(chuàng)作，像急救人員一樣流暢地進行導(dǎo)航，并以科學(xué)的精確性進行空間推理。

　　大語言模型已經(jīng)從研究實驗室走向日常生活。然而，它們?nèi)匀荒苎陨妻q卻缺乏經(jīng)驗，知識淵博卻缺乏實際經(jīng)驗。空間智能將徹底改變?nèi)藗儎?chuàng)造和與現(xiàn)實世界及虛擬世界互動的方式。也就是革新故事講述、創(chuàng)造力、機器人技術(shù)、科學(xué)發(fā)現(xiàn)等領(lǐng)域。

　　解鎖空間智能的核心在于開發(fā)世界模型。這些模型必須應(yīng)對與語言模型截然不同的挑戰(zhàn)，如必須生成符合物理定律、空間一致的世界，處理從圖像到動作的多模態(tài)輸入，并預(yù)測這些世界如何隨時間演變或如何被交互。

　　空間智能的應(yīng)用范圍十分廣泛。首先是創(chuàng)意工具正在涌現(xiàn)——World Labs 的 Marble 已經(jīng)將這類功能賦予創(chuàng)作者和故事講述者。另外，隨著感知與行動之間的聯(lián)系不斷完善，機器人也是一個雄心勃勃的中期發(fā)展方向，但最具變革性的科學(xué)應(yīng)用需要更長時間才能實現(xiàn)。

　　李飛飛還披露，World Labs 目前在研究新的通用訓(xùn)練算法、模型架構(gòu)和空間智能信息提取方式。

　　以下是我們整理的全文翻譯，歡迎閱讀。

　　1950年，當(dāng)計算還只是自動算術(shù)和簡單邏輯的同義詞時，艾倫·圖靈（Alan Turing）提出了一個至今仍引起共鳴的問題：機器能思考嗎？

　　圖靈的非凡想象力讓他洞見到了我們今日所見之景：智能或許有朝一日可以被“構(gòu)建”出來，而非與生俱來。這一洞見催生了一場名為“人工智能”的、永不停歇的科學(xué)探索。

　　在我投身AI領(lǐng)域的25年職業(yè)生涯中，圖靈的愿景始終是我的靈感源泉。但我們距離那個愿景還有多近？答案并不簡單。

　　如今，以大型語言模型（LLMs）為首的AI技術(shù)已經(jīng)開始改變我們獲取和使用抽象知識的方式。然而，它們?nèi)匀皇呛诎抵械摹拔淖纸场保晦o藻華麗卻缺乏經(jīng)驗，知識淵博卻不接地氣。

　　空間智能將改變我們創(chuàng)造和互動的方式，無論是與真實世界還是虛擬世界。它將為故事敘述、創(chuàng)造力、機器人技術(shù)、科學(xué)發(fā)現(xiàn)等領(lǐng)域帶來革命。

　　這，就是AI的下一個前沿。

　　自從我進入這個領(lǐng)域以來，追求視覺和空間智能就一直是指引我的“北極星”。這就是為什么我花了數(shù)年時間構(gòu)建ImageNet。它是現(xiàn)代AI誕生的三個關(guān)鍵要素之一，另外兩個分別是神經(jīng)網(wǎng)絡(luò)算法和以圖形處理單元（GPU）為代表的現(xiàn)代計算硬件。

　　這也是為什么我在斯坦福大學(xué)的學(xué)術(shù)實驗室在過去十年中，一直致力于將計算機視覺與機器人學(xué)習(xí)相結(jié)合。

　　同時，這也是為什么我和我的聯(lián)合創(chuàng)始人 Justin Johnson，Christoph Lassner，Ben Mildenhall 在一年多前創(chuàng)立了World Labs：我們希望首次將這種可能性（空間智能）完全實現(xiàn)。

　　在這篇文章中，我將解釋什么是空間智能，它為何重要，以及我們?nèi)绾螛?gòu)建“世界模型”來解鎖它。

　　空間智能：人類認知的腳手架

　　AI領(lǐng)域的熱度前所未有。生成式模型，例如 LLMs已經(jīng)從研究實驗室走向日常生活，成為全球數(shù)十億人激發(fā)創(chuàng)意、提高生產(chǎn)力和溝通交流的工具。

　　它們已經(jīng)展示了許多一度被認為不可能的能力，能毫不費力地生成連貫的文本、堆積如山的代碼、逼真的圖像，甚至短視頻。

　　AI是否會改變世界？這已不再是個問題。無論用何種合理的定義來看，它都已經(jīng)改變了世界。

　　然而，仍有如此多的目標(biāo)遠未達成。

　　自動駕駛機器人的愿景仍然引人入勝，但也只是紙上談兵，遠未成為日常。我們在疾病治療、新材料發(fā)現(xiàn)和粒子物理學(xué)等領(lǐng)域?qū)崿F(xiàn)研究大幅加速的夢想，在很大程度上也仍未實現(xiàn)。

　　AI要真正理解并賦能人類創(chuàng)造者的這個承諾也仍然遙不可及。無論是學(xué)習(xí)分子化學(xué)復(fù)雜概念的學(xué)生、構(gòu)思空間的可視化建筑師、構(gòu)建世界的電影制作人，還是任何尋求完全沉浸式虛擬體驗的人，目前也并不能廣泛使用AI完成大部分任務(wù)。

　　為什么這些能力依然虛無縹緲？我們需要探究空間智能是如何進化的，以及它是如何塑造我們對世界的理解的。

　　長期以來，視覺一直是人類智能的基石，但它的力量源于一些更基礎(chǔ)的東西。

　　遠在動物能夠筑巢、育幼、用語言交流或建立文明之前，“感知”這一單純的行為就已悄然開啟了通往智能的進化之旅。這種看似孤立的、從外部世界收集信息（無論是一縷微光還是觸覺感知）的能力，在感知與生存之間搭建了一座橋梁，而這座橋梁隨著世代更迭，只會變得愈發(fā)堅固和精細。

　　神經(jīng)元在這座橋梁上層層疊疊地生長，形成了能夠解釋世界、并協(xié)調(diào)生物體與其周圍環(huán)境互動的神經(jīng)系統(tǒng)。因此，許多科學(xué)家推測，感知和行動（perception and action）成為了推動智能進化的核心循環(huán)，也是自然界創(chuàng)造我們這類，這個集感知、學(xué)習(xí)、思考和行動于一身的終極“具身體”的基石。

　　空間智能在定義我們?nèi)绾闻c物理世界互動方面，扮演著根本性的角色。

　　每一天，我們都依賴它來完成最平凡的舉動：通過想象保險杠與路緣之間不斷縮小的間隙來停放汽車；接住別人從房間另一頭扔過來的鑰匙；在擁擠的人行道上穿行而不發(fā)生碰撞；或者睡眼惺忪地將咖啡倒入杯中，甚至無需低頭去看。

　　在更極端的情況下，消防員在煙霧彌漫、不斷坍塌的建筑物中穿梭，他們需要對結(jié)構(gòu)的穩(wěn)定性和生還幾率做出瞬時判斷，并通過手勢、肢體語言和一種共享的專業(yè)本能進行交流——這種本能是沒有任何語言可以替代的。嬰幼兒在學(xué)會說話前的數(shù)月乃至數(shù)年里，完全通過與環(huán)境的嬉戲互動來學(xué)習(xí)這個世界。

　　所有這一切都發(fā)生得如此直觀、自動，這是一種機器尚未企及的流暢。

　　空間智能也是我們想象力和創(chuàng)造力的基礎(chǔ)。

　　從古至今，故事講述者在他們的腦海中創(chuàng)造出異常豐富的世界，并利用從古老的洞穴壁畫到現(xiàn)代電影，再到沉浸式視頻游戲等多種視覺媒介，將這些世界呈現(xiàn)給他人。

　　無論是在沙灘上堆砌沙堡，還是在電腦上玩《我的世界》，這種以空間為基礎(chǔ)的想象力構(gòu)成了真實或虛擬世界中互動體驗的基石。在許多行業(yè)應(yīng)用中，對物體、場景和動態(tài)交互環(huán)境的模擬，為工業(yè)設(shè)計、數(shù)字孿生、機器人訓(xùn)練等無數(shù)關(guān)鍵的商業(yè)用例提供了動力。

　　歷史上充斥著由空間智能扮演核心角色的、定義了文明進程的時刻。

　　在古希臘，埃拉托斯特尼（Eratosthenes）將影子轉(zhuǎn)化為幾何學(xué)。在太陽直射賽伊尼（Syene）的同一時刻，他測得亞歷山大港的太陽投下了7度的影子，從而計算出了地球的周長。

　　哈格里夫斯（Hargreave）的“珍妮紡紗機”通過一個空間上的洞察徹底改變了紡織制造業(yè)：將多個紡錘并排排列在一個框架中，使得一個工人能同時紡制多根紗線，生產(chǎn)效率一舉提升了八倍。

　　沃森與克里克（Watson and Crick）通過物理方式構(gòu)建3D分子模型，不斷擺弄金屬板和電線，直到堿基對的空間排列“咔嗒”一聲契合到位，才最終發(fā)現(xiàn)了 DNA 的結(jié)構(gòu)。

　　在上述每一個案例中，當(dāng)科學(xué)家和發(fā)明家必須操控物體、將結(jié)構(gòu)可視化以及對物理空間進行推理時（這些都是無法僅用文本捕捉的），空間智能推動了文明向前邁進。

　　空間智能正是我們認知構(gòu)建所依賴的腳手架。

　　無論我們是被動觀察還是主動創(chuàng)造，它都在發(fā)揮作用，驅(qū)動著我們推理和規(guī)劃。它對我們與同伴或環(huán)境進行言語或物理互動的方式也至關(guān)重要。

　　我們?nèi)粘５乃季S方式通過感官感知來理解這個復(fù)雜的世界，然后利用一種基于物理和空間術(shù)語的直觀理解來領(lǐng)悟它的運作方式。

　　不幸的是，今天的AI還不會這樣思考。

　　誠然，過去幾年我們?nèi)〉昧司薮筮M步。多模態(tài)大模型在訓(xùn)練中除了文本數(shù)據(jù)，還加入了海量的多媒體數(shù)據(jù)，這引入了一些空間意識的基礎(chǔ)。

　　今天的 AI 可以分析圖片，回答相關(guān)問題，還能生成高度逼真的圖像和短視頻。并且，通過傳感器和觸覺技術(shù)的突破，我們最先進的機器人已經(jīng)開始能夠在高度受限的環(huán)境中操縱物體和工具。

　　但坦率地說，AI的空間能力仍遠未達到人類水平。而且這種局限性很快就會暴露無遺。

　　最先進的多模態(tài)模型在估計距離、方向和尺寸，或通過從新角度重新生成物體來實現(xiàn)“在腦中”旋轉(zhuǎn)物體方面，幾乎表現(xiàn)得不如隨機猜測。它們無法在迷宮中導(dǎo)航、識別捷徑或預(yù)測基本的物理現(xiàn)象。AI生成的視頻，雖然是新生事物也確實很酷，但往往在幾秒鐘后就會失去連貫性。

　　盡管當(dāng)前最先進的AI擅長閱讀、寫作、研究和數(shù)據(jù)中的規(guī)律識別，但當(dāng)涉及到表征或與物理世界互動時，這些模型卻暴露出根本性的局限。

　　對比之下，人們對世界的看法是整體的——不僅僅是我們正在看什么，還包括萬物在空間上如何關(guān)聯(lián)、它意味著什么，以及它為什么重要。通過想象、推理、創(chuàng)造和互動（不僅是描述）來理解這一切，正是空間智能的力量。

　　沒有它，AI就會與它試圖理解的物理現(xiàn)實脫節(jié)。AI將無法有效地駕駛我們的汽車，無法引導(dǎo)機器人在我們的家庭和醫(yī)院中工作，無法為學(xué)習(xí)和娛樂創(chuàng)造全新的沉浸式和交互式體驗，也無法加速材料科學(xué)和醫(yī)學(xué)領(lǐng)域的發(fā)現(xiàn)。

　　哲學(xué)家維特根斯坦（Wittgenstein）曾寫道：“我語言的極限，便是我世界的極限。”

　　我不是哲學(xué)家。但我至少知道，對AI而言，語言之外，別有洞天。

　　空間智能代表著超越語言的前沿。它連接著想象、感知和行動，并為機器真正提升人類生活開啟了無限可能。

　　AI的下一個十年：構(gòu)建真正的空間智能

　　那么，我們該如何構(gòu)建具有空間智能的AI呢？我們?nèi)绾尾拍茏屇Ｐ途邆浒＠兴固啬崮菢拥囊曈X推理能力、工業(yè)設(shè)計師那樣的工程精度、故事講述者那樣的創(chuàng)造想象力，以及急救人員那樣的環(huán)境互動流暢度？

　　構(gòu)建空間智能AI需要一些比多模態(tài)模型更宏大的東西：世界模型。這種新型的生成模型，理解、推理、生成以及與語義、物理、幾何和動態(tài)上都極為復(fù)雜的世界互動能力，遠非今天的多模態(tài)模型所能及。

　　這個領(lǐng)域尚處在起步階段，實現(xiàn)世界模型的方法目前有著多種不同的嘗試，有抽象出推理模型的路線，也有通過視頻生成模型來進行的嘗試。

　　World Labs 正是在2024年初基于這一信念成立的：真正有效的基礎(chǔ)方法仍在持續(xù)探索之中，這也會使世界模型成為未來十年最具決定性的挑戰(zhàn)。

　　在這個新興領(lǐng)域，最重要的是確立指導(dǎo)發(fā)展的基本原則。對于空間智能領(lǐng)域下的世界模型，我通過三個基本能力來定義它：

　　生成性 (Generative)：

　　世界模型能夠生成具有感知、幾何和物理一致性的世界。

　　同時，這些世界也必須能根據(jù)語義或感知指令，催生出無窮無盡、豐富多樣的更多模擬世界。不論是模擬真實世界的空間，還是想象中的虛擬空間，內(nèi)部都必須同時在幾何、物理和動態(tài)變化上保持一致。

　　此外，我相信一個通用世界模型也必須能夠同時根據(jù)許多完全不同的條件來生成一個統(tǒng)一的、可觀測的世界。而且最重要的是，這個世界是連續(xù)的，它的“過去”必須與它的“未來”邏輯上連貫。

　　多模態(tài) (Multimodal)：

　　世界模型在設(shè)計上就是多模態(tài)的。正如動物和人類一樣，世界模型應(yīng)該能夠處理多種形式的輸入。給定部分信息，無論是圖像、視頻、深度圖、文本指令、手勢還是動作，世界模型都應(yīng)能預(yù)測或生成盡可能完整的世界狀態(tài)。

　　這要求它既能以真實視覺的保真度處理視覺輸入，又能以同等的能力解釋語義指令。這種能力使智能體和人類都能通過多樣化的輸入與模型和這個世界交流。反過來，它們也能接收多樣化的輸出。

　　交互性 (Interactive)：

　　世界模型能根據(jù)輸入的動作輸出下一個狀態(tài)。

　　如果“動作”、“目標(biāo)”是輸入到世界模型中的一部分，那么模型的輸出必須包含這個世界的“下一個狀態(tài)”，無論這種狀態(tài)是看不見的，還是看得見的。

　　隨著空間智能的世界模型在推理和生成能力方面變得更加強大，可以預(yù)見，在給定目標(biāo)的情況下，世界模型本身不僅能預(yù)測世界的下一個狀態(tài)，還能基于這個新狀態(tài)預(yù)測出“再接下來的動作和狀態(tài)”。

　　這項挑戰(zhàn)的范圍超過了AI以往面臨的任何挑戰(zhàn)。

　　語言純粹是人類認知的一種生成現(xiàn)象，而“世界”所遵循的規(guī)則要復(fù)雜得多。例如，在地球上，重力支配著運動，原子結(jié)構(gòu)決定了光如何產(chǎn)生顏色和亮度，無數(shù)的物理定律約束著每一次互動。即使是最奇幻、最有創(chuàng)意的世界，也是由空間物體和智能體組成的，它們同樣遵守著定義它們自身的物理定律和動態(tài)行為。

　　要將含義一致性、幾何一致性、物理規(guī)律一致性都同時滿足，需要全新的方法。一個世界的表征維度，遠比語言這種一維、時序性的信號復(fù)雜得多。

　　要實現(xiàn)世界模型，使其具備我們?nèi)祟愃械耐ㄓ媚芰Γ枰朔讉€艱巨的技術(shù)障礙。

　　在World Labs，我們的研究團隊正致力于朝著這個目標(biāo)取得基礎(chǔ)性進展。

　　以下是我們當(dāng)前研究課題的一些例子：

　　一個新的、通用的訓(xùn)練任務(wù)函數(shù)：長期以來，世界模型研究的核心目標(biāo)之一，就是定義一個像 LLM 中的“預(yù)測下一個詞”那樣簡潔優(yōu)雅的通用任務(wù)函數(shù)。然而，世界模型輸入和輸出的復(fù)雜性，使得構(gòu)建此類函數(shù)本質(zhì)上更加困難。

　　大規(guī)模訓(xùn)練數(shù)據(jù)：訓(xùn)練世界模型所需的數(shù)據(jù)，遠比文本模型要復(fù)雜得多。好消息是：海量的數(shù)據(jù)源已經(jīng)存在。互聯(lián)網(wǎng)中規(guī)模龐大的圖像和視頻就是豐富、可及的訓(xùn)練材料，挑戰(zhàn)在于開發(fā)出能從這些二維圖像或視頻幀信號中提取更深層空間信息的算法。

　　過去十年的研究已經(jīng)揭示了語言模型中數(shù)據(jù)量與模型規(guī)模之間的 Scaling Law 的力量，而世界模型的關(guān)鍵突破點，在于構(gòu)建能夠利用同等規(guī)模現(xiàn)有視覺數(shù)據(jù)的架構(gòu)。

　　此外，我不會低估高質(zhì)量合成數(shù)據(jù)以及深度、觸覺等額外模態(tài)信息的力量。它們在訓(xùn)練過程的關(guān)鍵步驟中為互聯(lián)網(wǎng)的數(shù)據(jù)提供了補充。但是，這依賴于更好的傳感器系統(tǒng)、更魯棒的信號提取算法，以及遠比現(xiàn)在更強大的神經(jīng)模擬方法。

　　新的模型架構(gòu)和表征學(xué)習(xí)：世界模型的研究將不可免地推動模型架構(gòu)和學(xué)習(xí)算法的進步，特別是超越當(dāng)前的多模態(tài)大模型和“視頻擴散”范式。

　　它們通常將數(shù)據(jù)“詞元化”（tokenize）為一維或二維序列，這使得簡單的空間任務(wù)變得異常困難。比如在短視頻中統(tǒng)計不同椅子的數(shù)量，或者記住一個小時前房間的樣子。

　　替代性的架構(gòu)可能會有所幫助，例如用于詞元化、上下文和記憶的“感知3D或4D”的方法。舉個例子，在 World Labs，我們最近關(guān)于一個名為 RTFM 的實時生成式幀基模型（Real-Time Generative Frame-based Model）的研究就展示了這種轉(zhuǎn)變。該模型使用“空間定位的幀”（spatially-grounded frames）作為一種空間記憶形式，以實現(xiàn)高效的實時生成，同時在所生成的世界中保持物體的持久性。

　　顯然，在通過世界建模來完全解鎖空間智能之前，我們?nèi)匀幻媾R著令人生畏的挑戰(zhàn)。這項研究不僅僅是一次理論演習(xí)，還是一種新型創(chuàng)意和生產(chǎn)力工具的核心引擎。

　　World Labs內(nèi)部的進展令人鼓舞。我們最近向有限數(shù)量的用戶分享了 Marble 的驚鴻一瞥。這是有史以來第一個世界模型，它可以通過多模態(tài)輸入進行提示，為用戶和故事講述者生成并維護一致的3D環(huán)境，以供他們在創(chuàng)意工作流中探索、互動和進一步構(gòu)建。我們正努力使它盡快向公眾開放。

　　Marble 只是我們創(chuàng)造一個真正具有空間智能的世界模型的第一步。隨著進展的加速，研究人員、工程師、用戶和商業(yè)領(lǐng)袖都開始認識到它的潛力，下一代世界模型將使機器能夠在全新層面上獲得空間智能——這一成就將解鎖當(dāng)今AI系統(tǒng)仍普遍缺乏的關(guān)鍵能力。

　　使用世界模型構(gòu)建更美好的世界

　　發(fā)展AI的動機至關(guān)重要，作為幫助開啟了現(xiàn)代AI時代的科學(xué)家之一，我的動機始終明確：AI必須增強人類能力，而不是取而代之。

　　多年來，我一直致力于使AI的開發(fā)、部署和治理與人類的需求保持一致。如今，技術(shù)烏托邦和末日啟示錄的極端敘事比比皆是，但我始終持有一種更務(wù)實的觀點：AI由人開發(fā)，為人所用，并受人治理。它必須始終尊重人的能動性和尊嚴。它的魔力在于擴展我們的能力，使我們更有創(chuàng)造力、聯(lián)系更緊密、更有效率、更感充實。

　　空間智能代表了這一愿景：AI賦能人類的創(chuàng)造者、看護者、科學(xué)家和夢想家，去實現(xiàn)那些曾經(jīng)遙不可及的成就。正是這一信念，驅(qū)動著我將空間智能作為AI下一個偉大前沿的承諾。

　　空間智能的應(yīng)用橫跨不同的時間段。創(chuàng)意工具正于當(dāng)下涌現(xiàn)——World Labs 的 Marble 已經(jīng)將這些能力交到了創(chuàng)造者和故事講述者手中。機器人技術(shù)代表了一個雄心勃勃的中期圖景，我們正在不斷完善感知與行動之間的循環(huán)。而最具變革性的科學(xué)應(yīng)用將需要更長的時間，但它們有望對人類的繁榮產(chǎn)生深遠的影響。

　　所有這些圖景中，有幾個領(lǐng)域因其重塑人類能力的潛力而脫穎而出。這需要巨大的集體努力，非單個團隊或公司所能企及。

　　這個愿景值得追求。以下是這個未來所包含的內(nèi)容：

　　1. 創(chuàng)意：為故事敘述和沉浸式體驗注入超能力

　　“創(chuàng)造力是智能在享樂。” 這是我最喜歡的偉人——愛因斯坦的名言之一。

　　故事，是我們理解世界的方式，是我們跨越距離和時間建立聯(lián)系的方式，是我們探索生而為人的意義的方式，最重要的是，是我們尋找生命意義和內(nèi)心中“愛”的方式。

　　今天，空間智能有潛力改變我們創(chuàng)造和體驗敘事的方式，這種方式既尊重其根本的重要性，也將其影響力從娛樂擴展到教育，從設(shè)計延伸到建筑。

　　World Labs 的 Marble 平臺將把前所未有的空間能力和編輯可控性交到電影制作人、游戲設(shè)計師、建筑師和各類故事講述者手中，允許他們快速創(chuàng)建和迭代可完全探索的3D世界，而無需背負傳統(tǒng)3D設(shè)計軟件的沉重負擔(dān)。

　　創(chuàng)造性行為本身一如既往地至關(guān)重要且富有人性，AI工具只是放大和加速了創(chuàng)造者所能達成的成就。這包括：

　　新維度的敘事體驗：電影制作人和游戲設(shè)計師正在使用 Marble 來構(gòu)想完整的世界，而不受預(yù)算或地理位置的限制，探索那些在傳統(tǒng)制作流程中難以企及的各種場景和視角。

　　隨著不同形式的媒體和娛樂之間的界限日益模糊，我們正在接近一種融合了藝術(shù)、模擬和游戲的全新互動體驗。

　　在這個性化的世界里，任何人，而不僅僅是工作室，都可以創(chuàng)造和棲居于自己的故事中。隨著將概念和故事板提升為完整體驗的更新、更快捷的方式的出現(xiàn)，敘事將不再局限于單一媒介，創(chuàng)作者可以自由地在無數(shù)的界面和平臺上構(gòu)建具有共同主線的世界。

　　通過設(shè)計實現(xiàn)空間敘事：幾乎每一個物體或建筑在被創(chuàng)造之前，都必須在虛擬3D環(huán)境中進行設(shè)計。這個過程通常迭代次數(shù)極多，且耗時耗錢。

　　有了空間智能模型，建筑師可以在投入數(shù)月反復(fù)進行設(shè)計修改之前，快速地先將結(jié)構(gòu)可視化出來。工業(yè)設(shè)計師和時裝設(shè)計師可以將想象力瞬間轉(zhuǎn)化為具象化的形式，探索物體如何與人體和空間互動。

　　全新的沉浸式和交互式體驗：“體驗”本身是人類創(chuàng)造意義最深刻的方式之一。在整個人類歷史中，只存在一個唯一的3D世界：我們共同生活的這個物理世界。僅僅在近幾十年，通過游戲和早期的虛擬現(xiàn)實，我們才得以一窺分享我們自己創(chuàng)造的“另類世界”意味著什么。

　　2. 機器人：具身智能在行動

　　無論昆蟲還是人類，動物都在憑借空間智能感知環(huán)境、規(guī)劃路徑、維系與世界的互動，機器人同樣遵循這一邏輯。

　　自這個領(lǐng)域誕生以來，創(chuàng)造出擁有空間感知能力的機器一直是個夢想。這也包括我與我的學(xué)生和合作者在斯坦福研究實驗室所做的工作。這也是為什么我對使用 World Labs 正在構(gòu)建的模型來實現(xiàn)機器人落地如此興奮。

　　通過世界模型擴展機器人學(xué)習(xí)：機器人學(xué)習(xí)的進展，取決于一個可擴展的、可行的訓(xùn)練數(shù)據(jù)解決方案。鑒于機器人必須學(xué)會理解、推理、規(guī)劃和互動的可能性狀態(tài)空間（state spaces）極其龐大，許多人推測，需要結(jié)合互聯(lián)網(wǎng)數(shù)據(jù)、合成模擬和真實世界的人類演示捕捉，才能真正創(chuàng)造出可泛化的機器人。

　　但與語言模型不同，當(dāng)今機器人研究的訓(xùn)練數(shù)據(jù)極其稀缺。世界模型將在這方 面扮演決定性角色。隨著世界模型在感知保真度和計算效率上的提升，其輸出可以迅速縮小模擬與現(xiàn)實之間的差距。這將有助于在模擬無數(shù)狀態(tài)、互動和環(huán)境的情況下，訓(xùn)練機器人。

　　伙伴與合作者：機器人作為人類的合作者，無論是在實驗臺旁協(xié)助科學(xué)家，還是在獨居老人的家中提供幫助，都可以在急需更多勞動力的領(lǐng)域解決部分問題。要做到這一點就需要空間智能。最重要的是，機器人要在情感上與人類的目標(biāo)和行為保持一致。

　　例如，實驗室機器人可以處理儀器，以便科學(xué)家可以專注于需要靈巧性或推理的任務(wù)；而家庭助理可以幫助老年人做飯，同時不減少他們的樂趣或自主權(quán)。能夠預(yù)測下一個狀態(tài)、甚至可能預(yù)測出符合這種期望的動作的、真正具有空間智能的世界模型，對于實現(xiàn)這一目標(biāo)至關(guān)重要。

　　擴展具身形態(tài)：人形機器人在我們?yōu)樽约簶?gòu)建的世界中扮演著一定的角色，但創(chuàng)新的更多益處將來自大量多樣化的設(shè)計。比如，遞送藥物的納米機器人、在狹窄空間中穿行的軟體機器人，以及專為深海或外太空而造的機器。無論它們形態(tài)如何，未來的空間智能模型都必須整合這些機器人所在的外部環(huán)境，以及機器人自身的感知和運動。

　　但在開發(fā)這些機器人時，一個關(guān)鍵挑戰(zhàn)是缺乏適用于這些多種多樣具身形態(tài)的訓(xùn)練數(shù)據(jù)。世界模型將在模擬數(shù)據(jù)、訓(xùn)練環(huán)境和基準(zhǔn)測試任務(wù)方面為這些努力發(fā)揮關(guān)鍵作用。

　　3. 更長遠的圖景：科學(xué)、醫(yī)療和教育

　　除了創(chuàng)意和機器人應(yīng)用，空間智能的深遠影響還將擴展到那些AI可以增強人類能力、拯救生命和加速發(fā)現(xiàn)的領(lǐng)域。

　　我在此重點介紹三個具有深度變革潛力的應(yīng)用領(lǐng)域，但毋庸置疑，空間智能的落地在更多行業(yè)中都將是極其廣泛的。

　　在科學(xué)研究中，空間智能系統(tǒng)可以模擬實驗，并行測試科學(xué)猜想，并探索人類無法到達的極端環(huán)境。通過結(jié)合多維模擬的數(shù)據(jù)與現(xiàn)實世界的真實數(shù)據(jù)，空間智能可以降低實驗門檻，擴展每個實驗室所能觀察和測試的極限范圍。

　　在醫(yī)療保健領(lǐng)域，空間智能將重塑從實驗室到床旁的一切。在斯坦福，我的學(xué)生、合作者和我花了多年時間與醫(yī)院、老年護理機構(gòu)和居家患者合作。這段經(jīng)歷使我確信空間智能在這里的變革潛力。

　　AI可以通過多維度建模分子互動來加速藥物發(fā)現(xiàn)；通過幫助放射科醫(yī)生在醫(yī)學(xué)影像中發(fā)現(xiàn)規(guī)律來增強診斷能力；建立一個“環(huán)境監(jiān)測系統(tǒng)”，給護理人員提供支持。

　　在教育領(lǐng)域，空間智能可以實現(xiàn)沉浸式學(xué)習(xí)，使抽象或復(fù)雜的概念變得具體有形，并創(chuàng)造對我們大腦和身體學(xué)習(xí)方式至關(guān)重要的體驗。學(xué)生可以在虛擬空間中探索生物結(jié)構(gòu)，教師可以通過創(chuàng)造交互式的環(huán)境來更好的教學(xué)。

　　在所有這些領(lǐng)域，可能性是無窮無盡的，但目標(biāo)始終如一：AI應(yīng)增強人類專長，加速人類發(fā)現(xiàn)，并放大人類關(guān)懷——而不是取代作為人類核心的判斷力、創(chuàng)造力和同理心。

　　結(jié)論

　　在過去十年中，AI已成為一種全球現(xiàn)象，也是技術(shù)、經(jīng)濟乃至地緣政治的拐點。但作為一名研究者、教育者，以及現(xiàn)在的創(chuàng)業(yè)者，75年前圖靈提出的那個問題，“機器能思考嗎？”背后的精神，仍然最能激勵我。我仍然分享著他那份好奇感。正是這份好奇感，讓我每一天都為空間智能這一挑戰(zhàn)而充滿活力。