李飛飛最新文章原文 — 從文字到世界：空間智能是人工智能的下一個前沿領域

來源：The AI Frontier

1950年，計算機技術還僅限于自動算術和簡單邏輯運算，艾倫·圖靈提出了一個至今仍影響深遠的問題：機器能思考嗎？他擁有非凡的想象力，預見到智能或許有一天可以構建而非天生。這一洞見后來開啟了一場名為人工智能（AI）的不懈科學探索。在我從事人工智能工作25年后，圖靈的遠見卓識依然激勵著我。但我們距離目標究竟有多近？答案并不簡單。

空間智能：人類認知的基礎

人工智能從未如此令人興奮。諸如LLM之類的生成式人工智能模型已經從實驗室走向日常生活，成為數十億人創造、提高效率和溝通的工具。它們展現出了曾經被認為不可能的能力，能夠輕松生成連貫的文本、海量的代碼、逼真的圖像，甚至是短視頻。人工智能是否會改變世界已不再是問題。無論從哪個角度來看，它已經改變了世界。

這種看似孤立的從外部世界獲取信息的能力——無論是捕捉一絲光線還是感受質地——在感知與生存之間架起了一座橋梁，并且隨著世代更迭，這座橋梁變得越來越牢固、越來越復雜。一層又一層的神經元從這座橋梁上生長出來，形成了能夠解讀世界并協調生物體與其周圍環境之間相互作用的神經系統。因此，許多科學家推測，感知和行動成為了驅動智能進化的核心回路，也是自然創造我們這個物種的基礎——感知、學習、思考和行動的終極體現。

歷史上充滿了空間智能發揮核心作用的、定義文明的時刻。在古希臘，埃拉托色尼將陰影轉化為幾何圖形——在太陽于塞恩（Syene）投下無影的那一刻，測量亞歷山大港（Alexandria）的7度角——從而計算出地球的周長。哈格里夫斯的“珍妮紡紗機”憑借其空間洞察力徹底革新了紡織制造業：將多個錠子并排排列在同一個框架中，使一名工人能夠同時紡多根紗線，生產效率提高了八倍。沃森和克里克通過構建三維分子模型，操縱金屬板和金屬絲，最終使堿基對的空間排列完全吻合，從而發現了DNA的結構。在這些例子中，空間智能推動了文明的進步，因為科學家和發明家需要操作物體、可視化結構并推理物理空間——而這些都無法僅用文字來描述。

盡管當前最先進的人工智能在數據閱讀、寫作、研究和模式識別方面表現出色，但這些模型在表征或與物理世界互動時卻存在根本性的局限性。我們對世界的認知是整體性的——不僅關注我們所看到的事物，更關注萬物之間的空間關系、意義以及重要性。通過想象、推理、創造和互動（而不僅僅是描述）來理解這一切，正是空間智能的力量所在。缺乏空間智能，人工智能就無法與它試圖理解的物理現實相聯系。它無法有效地駕駛汽車，無法引導家中和醫院里的機器人，無法創造全新的沉浸式和互動式學習和娛樂體驗，也無法加速材料科學和醫學領域的發現。

哲學家維特根斯坦曾寫道：“我的語言的界限就是我的世界的界限。”我并非哲學家，但我知道，至少對于人工智能而言，語言遠不止于此?？臻g智能代表著超越語言的前沿——它連接著想象、感知和行動，并為機器真正提升人類生活開辟了無限可能，涵蓋醫療保健、創造力、科學發現以及日常輔助等諸多領域。

人工智能的下一個十年：構建真正具有空間智能的機器

那么，我們如何構建具有空間智能的人工智能？如何才能構建出能夠像埃拉托色尼一樣進行推理、像工業設計師一樣進行精確工程設計、像講故事的人一樣進行創造性創作、像急救人員一樣流暢地與環境互動的模型？

構建空間智能人工智能需要比邏輯邏輯模型（LLM）更具雄心的方案：世界模型。世界模型是一種新型生成模型，其理解、推理、生成和交互語義、物理、幾何和動態上復雜的世界（無論是虛擬的還是真實的）的能力，遠遠超出了當今邏輯邏輯模型的能力范圍。該領域尚處于起步階段，目前的方法涵蓋了從抽象推理模型到視頻生成系統等各個方面。世界實驗室（World Labs）正是基于這樣的信念而于2024年初成立：基礎方法仍在不斷建立，這將是未來十年面臨的關鍵挑戰。

在這個新興領域，最重要的是確立指導發展的原則。對于空間智能，我通過三種基本能力來定義世界模型：

1.生成式：世界模型可以生成在感知、幾何和物理上都保持一致的世界。

2.多模態：世界模型從設計上就是多模態的。

3.交互式：世界模型可以根據輸入動作輸出下一個狀態

最后，如果行動和/或目標作為世界模型的輸入，其輸出必須包含世界的下一個狀態，無論該狀態是以隱式還是顯式的方式表示。當僅輸入行動（無論是否包含目標狀態）時，世界模型應生成與世界先前狀態、預期目標狀態（如有）及其語義含義、物理定律和動態行為相一致的輸出。隨著空間智能世界模型的推理和生成能力日益強大和穩健，可以設想，在給定目標的情況下，世界模型本身不僅能夠預測世界的下一個狀態，還能基于新狀態預測下一步行動。

這一挑戰的規模超過了人工智能以往面臨的任何挑戰。

運用世界模式為人類建設更美好的世界

在所有這些時間線中，有幾個領域因其重塑人類能力的潛力而脫穎而出。這需要巨大的集體努力，遠非單個團隊或公司所能完成。它需要整個人工智能生態系統的參與——研究人員、創新者、企業家、公司，甚至政策制定者——共同朝著一個共同的愿景努力。但這個愿景值得追求。以下是未來展望：

創意：賦予故事講述和沉浸式體驗超強力量

敘事體驗邁向新維度：電影制作人和游戲設計師正利用 Marble 構建完整的世界，擺脫預算和地域的限制，探索在傳統制作流程中難以實現的各種場景和視角。隨著不同媒體和娛樂形式之間的界限日漸模糊，我們正在邁向融合藝術、模擬和游戲的新型互動體驗——個性化的世界，任何人（而不僅僅是工作室）都可以創造并沉浸于自己的故事之中。隨著將概念和故事板轉化為完整體驗的更新、更快捷方式的出現，敘事將不再局限于單一媒介，創作者可以自由地在各種表面和平臺上構建具有共同主線的世界。

通過設計構建空間敘事：幾乎所有制造的物品或建造的空間都必須在實體化之前進行虛擬3D設計。這個過程需要高度迭代，耗時耗力。借助空間智能模型，建筑師可以在投入數月設計之前快速可視化結構，漫步于尚未存在的空間——這本質上是在講述我們未來生活、工作和聚會的方式。工業和時尚設計師可以瞬間將想象轉化為形式，探索物品如何與人體和空間互動。

全新的沉浸式互動體驗：體驗本身是我們人類創造意義的最深刻方式之一?？v觀人類歷史，我們始終生活在一個單一的三維世界中：我們共同擁有的物理世界。直到近幾十年，通過游戲和早期虛擬現實（VR），我們才開始窺見共享我們自己創造的平行世界意味著什么。如今，空間智能與新型設備（例如VR和擴展現實（XR）頭顯以及沉浸式顯示器）相結合，以前所未有的方式提升了這些體驗。我們正邁向一個未來：步入完全實現的多維世界將如同打開一本書般自然。空間智能使世界構建不僅對擁有專業制作團隊的工作室而言觸手可及，也對個人創作者、教育工作者以及任何擁有分享愿景的人而言觸手可及。

機器人技術：具身智能的實踐

從昆蟲到人類，動物都依賴空間智能來理解、導航并與周圍環境互動。機器人也不例外。自該領域誕生以來，具備空間感知能力的機器一直是人們的夢想，包括我在斯坦福大學實驗室與學生和合作者們所做的研究。正因如此，我對利用世界實驗室正在構建的這類模型來實現這一夢想的可能性感到無比興奮。

具身形態的拓展：人形機器人在我們構建的世界中扮演著重要角色。但創新的全部益處將來自于更加多元化的設計：例如，用于輸送藥物的納米機器人、在狹小空間中穿梭的軟體機器人，以及專為深?；蛲馓沾蛟斓臋C器。無論其形態如何，未來的空間智能模型都必須整合機器人所處的環境以及它們自身的具身感知和運動。然而，開發這些機器人的一大挑戰在于，缺乏涵蓋如此多種具身形態的訓練數據。世界模型將在模擬數據、訓練環境以及基準測試任務中發揮至關重要的作用。

更長遠的視野：科學、醫療保健和教育

除了創意和機器人應用之外，空間智能的深遠影響還將擴展到人工智能能夠增強人類能力、拯救生命和加速探索的領域。下文我將重點介紹三個具有變革意義的應用領域，當然，空間智能的應用場景遠不止于此，它涵蓋了眾多行業。

在科學研究中，空間智能系統能夠模擬實驗、并行檢驗假設，并探索人類難以到達的環境——從深海到遙遠的行星。這項技術可以革新氣候科學和材料研究等領域的計算建模方式。通過將多維模擬與真實世界的數據采集相結合，這些工具可以降低計算門檻，并拓展每個實驗室的觀測和理解范圍。

在醫療保健領域，空間智能將重塑從實驗室到臨床的方方面面。在斯坦福大學，我的學生和合作者多年來一直與醫院、養老機構和居家患者合作。這段經歷讓我確信空間智能在醫療保健領域具有變革性的巨大潛力。人工智能可以通過模擬多維分子相互作用來加速藥物研發，通過幫助放射科醫生識別醫學影像中的模式來增強診斷能力，并實現環境監測系統，從而在不取代治療所需的人際互動的前提下，為患者和護理人員提供支持。更不用說機器人能夠在各種不同環境中幫助醫護人員和患者的巨大潛力了。

在教育領域，空間智能能夠實現沉浸式學習，使抽象或復雜的概念變得具體化，并創造迭代體驗——這對我們大腦和身體的學習機制至關重要。在人工智能時代，無論對于學齡兒童還是成人，更快、更高效的學習和技能提升都顯得尤為重要。學生可以探索細胞機制，或以多維視角體驗歷史事件。教師可以通過交互式環境獲得個性化教學的工具。從外科醫生到工程師等專業人士可以在逼真的模擬環境中安全地練習復雜技能。

在所有這些領域，可能性是無限的，但目標始終如一：人工智能增強人類的專業知識，加速人類的發現，并增強人類的關懷——而不是取代作為人類的核心的判斷力、創造力和同理心。

結論

過去十年，人工智能已成為全球現象，并成為科技、經濟乃至地緣政治的轉折點。但作為一名研究人員、教育工作者，如今又成為一名創業者，最激勵我的依然是圖靈75年前提出的問題背后的精神。我依然和他一樣充滿好奇。正是這種好奇心，讓我每天都充滿動力地迎接空間智能帶來的挑戰。

歷史上首次，我們即將制造出與物理世界如此契合的機器，它們將成為我們應對最嚴峻挑戰的真正伙伴。無論是加速我們在實驗室中對疾病的理解，革新我們講述故事的方式，還是在我們因疾病、傷痛或年老而最脆弱的時刻給予我們支持，我們都站在科技的前沿，這項科技將提升我們最珍視的生活品質。這是一個更深刻、更豐富、更有力量的生活愿景。

在自然界于遠古動物身上展現出空間智能的最初跡象近五億年后，我們有幸成為技術專家的一代，或許很快就能賦予機器同樣的能力——并且有幸能夠利用這些能力造福世界各地的人們。如果沒有空間智能，我們對真正智能機器的夢想將是不完整的。

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。