李飛飛的「空間智能」Marble來了：?可以3D雕刻，渲染高斯濺射

兩個月前，李飛飛的World Labs分享了Marble的預(yù)覽版，該模型能通過圖像或文本提示創(chuàng)建3D世界。當(dāng)時Marble只向一小部分早期測試用戶開放

剛剛World Labs正式推出了其首款產(chǎn)品Marble，定位為空間智能未來奠定基礎(chǔ)的多模態(tài)世界模型，現(xiàn)在，任何人都可以通過一張圖片、一段視頻、一句文本提示，或一個3D布局來創(chuàng)建高保真、可持久化的3D世界，并且可以導(dǎo)出為高斯濺射

注冊體驗(yàn)地址：

http://marble.worldlabs.ai

Marble是什么

李飛飛前天才發(fā)了一篇萬字長文闡述了空間智能為什么是人工智能的下一個前沿（不了解的可以看我的這篇文章），空間智能需要強(qiáng)大的世界模型來釋放其全部潛力。世界模型應(yīng)當(dāng)能夠重建、生成和模擬3D世界，并允許人類和智能體與之交互。李飛飛認(rèn)為在未來幾年，具備空間智能的世界模型將變革眾多行業(yè)

今天，World Labs正式向公眾發(fā)布了Marble——一款頂級的生成式多模態(tài)世界模型。其功能也得到了大幅擴(kuò)展：

多模態(tài)Marble：Marble現(xiàn)已支持大規(guī)模多模態(tài)輸入。它能從文本、圖像、視頻或粗略的3D布局創(chuàng)建3D世界，并允許用戶交互式地編輯、擴(kuò)展和組合這些世界。生成后，3D世界可以導(dǎo)出為高斯濺射（Gaussian splats）、網(wǎng)格（meshes）或視頻格式。這些新功能為用戶提供了精細(xì)的控制，并使生成的3D世界比以往任何時候都更加實(shí)用

Marble Labs：World Labs同步推出了一個名為Marble Labs的創(chuàng)意中心，旨在融合想象力與實(shí)驗(yàn)。在這里，藝術(shù)家、工程師和設(shè)計師可以探索世界模型的邊界，展示在游戲、視覺特效（VFX）、設(shè)計、機(jī)器人等領(lǐng)域的大膽想法、真實(shí)工作流和新可能性。Marble Labs還提供深度案例研究、教程和文檔，為任何人提供學(xué)習(xí)、構(gòu)建和分享自己3D世界的工具

https://www.worldlabs.ai/labs

如何使用Marble

Marble現(xiàn)在可以從多種輸入類型創(chuàng)建3D世界，并允許用戶迭代地編輯或擴(kuò)展世界。用戶既可以從簡單的圖像或文本提示快速創(chuàng)建完整的3D世界，也可以在2D和3D中進(jìn)行交互式編輯，精確地實(shí)現(xiàn)腦海中的世界構(gòu)想

文本與圖像生成世界

最簡單的方式是通過單張圖片或簡短的文本提示創(chuàng)建3D世界。Marble能夠生成各種場景類型和藝術(shù)風(fēng)格的世界

圖像提示功能使得Marble可以輕松地與其他AI工具結(jié)合。用戶可以使用自己喜歡的圖像生成模型生成圖片，然后將其導(dǎo)入Marble，提升為一個完整的3D世界。

雖然文本和單圖提示直觀而強(qiáng)大，但在創(chuàng)作控制上有限，因?yàn)镸arble必須自行創(chuàng)造輸入中未包含的所有細(xì)節(jié)

多圖像與視頻生成世界

為了實(shí)現(xiàn)更強(qiáng)的創(chuàng)作控制，Marble支持多圖像提示。用戶可以為世界的不同部分提供不同的提示圖像，Marble會將它們拼接成一個統(tǒng)一的3D世界。這讓用戶能從不同角度控制生成世界的外觀

這種方式帶來了一種全新的工作流：用戶可以使用圖像生成工具分別迭代輸入視圖，然后由Marble將它們提升為完整的3D世界，并添加視圖間的無縫過渡。

此外，多圖像提示也可用于創(chuàng)建受現(xiàn)實(shí)世界啟發(fā)的空間。通過輸入幾張從不同角度拍攝的真實(shí)地點(diǎn)照片或一段短視頻，Marble會將其組合，生成一個包含現(xiàn)實(shí)空間元素的3D世界

創(chuàng)作過程通常是高度迭代的。生成一個世界往往只是創(chuàng)作旅程的開始。Marble內(nèi)置了AI原生的世界編輯工具。編輯可以是局部的，如移除一個物體或修補(bǔ)一個區(qū)域；也可以是全局性的，如替換物體、改變視覺風(fēng)格或重構(gòu)世界的大部分結(jié)構(gòu)

Chisel：在3D中雕刻世界

對于需要更精細(xì)控制場景布局、物體精確尺寸和位置的高級用戶，World Labs推出了一個名為Chisel的實(shí)驗(yàn)性編輯模式

Chisel是一個AI原生的工具，允許用戶直接在3D中雕刻Marble世界。用戶可以使用盒子或平面等粗略的3D形狀，或?qū)氍F(xiàn)有的3D資產(chǎn)來布局世界的粗糙結(jié)構(gòu)。

完成布局后，用戶可以添加文本提示來描述場景的視覺風(fēng)格或額外元素。Marble會結(jié)合這些輸入，生成一個細(xì)節(jié)完整的3D世界。

Chisel將結(jié)構(gòu)與風(fēng)格解耦。粗略的3D場景決定了世界的結(jié)構(gòu)，而文本提示控制其整體風(fēng)格。兩者可以任意組合，為世界生成增添了全新的控制維度

要使用這個功能得加錢（訂閱），每個月20刀

擴(kuò)展與組合

Marble提供了兩種方法來構(gòu)建更宏大的世界：

擴(kuò)展：世界生成后，用戶可以通過一步操作使其變得更大。用戶可以選擇世界的一個區(qū)域進(jìn)行擴(kuò)展，Marble會自動創(chuàng)建更多內(nèi)容來填充該區(qū)域。擴(kuò)展不僅能增大世界，還能為特定區(qū)域增加細(xì)節(jié)，改善邊緣區(qū)域的清晰度

組合：用戶可以在Marble的“組合模式”中將任意數(shù)量的世界組合在一起，構(gòu)建極其廣闊的空間。組合過程完全由用戶控制，可以精確選擇要組合的世界以及它們的相對布局

導(dǎo)出為3D和視頻

在Marble中創(chuàng)建世界后，可以將其導(dǎo)出并整合到下游項目中

高斯濺射（Gaussian splats）：這是Marble世界保真度最高的表示形式。用戶可以使用World Labs的開源跨平臺渲染器Spark（已與THREE.js集成）在瀏覽器中渲染高斯濺射

三角網(wǎng)格：Marble可以生成兩種類型的網(wǎng)格：一種是用于粗略物理模擬的低保真碰撞體網(wǎng)格；另一種是旨在盡可能匹配高斯濺射視覺保真度的高質(zhì)量網(wǎng)格

視頻：用戶可以使用Marble將生成的3D世界渲染成視頻，并進(jìn)行像素級的相機(jī)控制，精確構(gòu)圖。此外，Marble還能增強(qiáng)導(dǎo)出的視頻，增加細(xì)節(jié)、移除偽影，并添加動態(tài)元素

未來的關(guān)鍵機(jī)遇在于交互性。未來的世界模型將允許人類和智能體以新的方式與生成的世界互動，從而在模擬、機(jī)器人等領(lǐng)域解鎖更多用例

參考：

https://www.worldlabs.ai/blog/marble-world-model