《三體》“宇宙閃爍”成真！免佩戴裸眼3D屏登Nature

• 克雷西 發(fā)自 凹非寺
  量子位 | 公眾號(hào) QbitAI

《三體》中的“宇宙為你閃爍”，不再是科幻了。

最新登上Nature的顯示屏EyeReal，無(wú)需佩戴眼鏡就能把3D畫(huà)面精準(zhǔn)投射到你的眼中。

而且尺寸只有桌面顯示器大小，成本也非常低廉，一塊4090加上屏幕和游戲機(jī)傳感器就能搞定。

中國(guó)團(tuán)隊(duì)出品，一作還是一位26歲復(fù)旦在讀博士生，上海人工智能實(shí)驗(yàn)室、上海創(chuàng)智學(xué)院聯(lián)合培養(yǎng)。

無(wú)需佩戴實(shí)現(xiàn)裸眼3D

EyeReal技術(shù)實(shí)現(xiàn)了一種裸眼3D顯示方案，觀看視角的覆蓋范圍超過(guò)100度。

而且在這個(gè)范圍內(nèi)，你隨便走動(dòng)，畫(huà)面都是連續(xù)順滑的，不會(huì)像以前那種老設(shè)備一樣，稍微一動(dòng)腦袋畫(huà)面就亂跳或者出現(xiàn)重影。

長(zhǎng)相上，它的大小和普通的24寸桌面顯示器相當(dāng)，但別小看這個(gè)尺寸，它的有效3D成像面積達(dá)到了0.1到0.2平方米，跟以前那種只能顯示指甲蓋大小的全息技術(shù)比起來(lái)，足足大了1000倍。

在立體感方面，它實(shí)現(xiàn)了真正的“全視差”顯示，不僅支持左右看（水平），還支持上下看（垂直）和前后湊近了看（徑向）這三個(gè)維度。

當(dāng)你站起來(lái)或者把臉湊近屏幕時(shí)，畫(huà)面里的物體會(huì)像真實(shí)模型一樣，呈現(xiàn)出完全符合物理規(guī)律的幾何透視變化。

而且，EyeReal還有個(gè)絕活叫“聚焦視差”，能模擬出人眼的景深效果。

簡(jiǎn)單說(shuō)，就是當(dāng)你盯著前景的物體看時(shí)，背景自然就變模糊了，反過(guò)來(lái)也一樣。

這讓眼睛的對(duì)焦動(dòng)作和大腦的距離感知保持一致，解決了那種讓人頭暈惡心的輻輳調(diào)節(jié)沖突（VAC），也就是所謂的“暈3D”，所以看久了也不會(huì)覺(jué)得累或者暈。

在實(shí)現(xiàn)這么多復(fù)雜效果的同時(shí)，它的畫(huà)質(zhì)一點(diǎn)沒(méi)縮水，依然保持了1920×1080的高清分辨率，刷新率也超過(guò)了50Hz，畫(huà)面非常流暢，完全能撐得起實(shí)時(shí)的動(dòng)態(tài)內(nèi)容。

計(jì)算光學(xué)與AI深度融合

EyeReal技術(shù)本質(zhì)上是一種深度融合了計(jì)算光學(xué)與人工智能的新型顯示架構(gòu)。它提出了一種名為動(dòng)態(tài)空間-帶寬積（SBP）利用的全新策略，通過(guò)主動(dòng)控制光場(chǎng)，巧妙地突破了物理學(xué)的硬性限制。

以前的裸眼3D技術(shù)之所以很難同時(shí)做到“大屏幕”和“寬視角”，主要是被SBP的物理常數(shù)卡住了脖子，這個(gè)物理指標(biāo)的總量是有限的，這意味著屏幕尺寸和觀看視角通常是此消彼長(zhǎng)的關(guān)系。

比如現(xiàn)有的全息顯示技術(shù)，雖然視角連貫自然，但畫(huà)面只能做到極小（通常僅厘米級(jí)）；而常見(jiàn)的光柵式顯示器雖然屏幕能做大，但觀看視角卻很窄，且畫(huà)面往往不連續(xù)。

EyeReal通過(guò)動(dòng)態(tài)SBP利用策略破解了這個(gè)死局。

它的思路不再是試圖在整個(gè)空蕩蕩的空間里重建光場(chǎng)，而是利用傳感器實(shí)時(shí)鎖定觀察者的眼球位置，通過(guò)精密計(jì)算，將有限的光學(xué)信息“聚攏”起來(lái)，只精準(zhǔn)地投射到你雙眼注視的那個(gè)小范圍內(nèi)。

為了實(shí)現(xiàn)這一精準(zhǔn)投射，系統(tǒng)首先需要解決“幾何對(duì)齊”的難題。

EyeReal建立了一套物理精確的雙目幾何建模系統(tǒng)，它把你的雙眼想象成兩臺(tái)正對(duì)著光場(chǎng)中心的針孔相機(jī)，并計(jì)算出雙眼在光場(chǎng)坐標(biāo)系中的6D姿態(tài)矩陣（眼球的位置和朝向）。

這樣就能在光場(chǎng)和你的視網(wǎng)膜之間建立起精確的對(duì)應(yīng)關(guān)系。

但是，因?yàn)槿搜鄣奈恢煤徒嵌入S時(shí)都在變，如果直接拿原始圖像去算，計(jì)算量就太復(fù)雜了。

為了解決這個(gè)問(wèn)題，系統(tǒng)引入了一個(gè)關(guān)鍵技術(shù)，叫“眼球幾何編碼”（Ocular Geometric Encoding）。

這招利用了逆向透視變換原理，根據(jù)算出來(lái)的眼睛姿態(tài)，把原本呈現(xiàn)在你視網(wǎng)膜上的目標(biāo)圖像，反向投影回那幾層屏幕所在的平面上。

這個(gè)過(guò)程就像把隨著視角亂變的復(fù)雜圖像，統(tǒng)一轉(zhuǎn)化成了一種標(biāo)準(zhǔn)化的、跟屏幕結(jié)構(gòu)對(duì)齊的平面扭曲圖像。

有了這種標(biāo)準(zhǔn)化的輸入，后面的神經(jīng)網(wǎng)絡(luò)就不需要每次都重新學(xué)習(xí)幾何關(guān)系，也能輕松應(yīng)對(duì)位置和觀看角度的變化。

在硬件構(gòu)成上，EyeReal采用了一種多層面板堆疊的結(jié)構(gòu)，由三層普通的TFT-LCD液晶面板平行放置，層間距約為3厘米，配合背部的白光LED光源和前后的正交偏振片工作。

系統(tǒng)中不包含微透鏡陣列或空間光調(diào)制器等復(fù)雜光學(xué)元件。其核心的光學(xué)調(diào)制與圖像合成完全依賴(lài)于一個(gè)輕量級(jí)的全卷積神經(jīng)網(wǎng)絡(luò)（FCN）驅(qū)動(dòng)。

該網(wǎng)絡(luò)采用類(lèi)似U-Net的架構(gòu)，包含下采樣與上采樣模塊以及跳躍連接，以確保在處理圖像時(shí)既能捕捉全局結(jié)構(gòu)又能保留高頻細(xì)節(jié)。

AI模型接收經(jīng)過(guò)幾何編碼的歸一化圖像作為輸入，執(zhí)行復(fù)雜的逆向渲染任務(wù)，計(jì)算出三層液晶面板上每一個(gè)像素點(diǎn)應(yīng)具有的相位數(shù)值。

物理上，這一過(guò)程利用了馬呂斯定律（Malus’s Law）對(duì)偏振光進(jìn)行調(diào)制。

馬呂斯定律是物理光學(xué)中描述偏振光強(qiáng)度變化的核心法則，光線最終穿過(guò)最后一層偏振片射出時(shí)的亮度，并不取決于某單層屏幕的遮擋，而是嚴(yán)格取決于光線在穿過(guò)所有層級(jí)后累積的相位總和。

具體而言，最終的光強(qiáng)與所有層相位之和的正弦平方成正比，這意味著，AI可以通過(guò)計(jì)算極其復(fù)雜的相位組合，讓光線在經(jīng)過(guò)層層接力旋轉(zhuǎn)后，精準(zhǔn)地以所需的亮度到達(dá)人眼視網(wǎng)膜。

Eyereal中，三層液晶面板置于正交的偏振片之間，當(dāng)背部的白光穿過(guò)第一層偏振片后，會(huì)轉(zhuǎn)變?yōu)檎駝?dòng)方向單一的偏振光。

此時(shí)，液晶面板上的每一個(gè)像素點(diǎn)都不再僅僅是顯示顏色的開(kāi)關(guān)，而是被AI算法控制成為了一個(gè)微小的、可編程的相位延遲器。

光線依次穿過(guò)這三層屏幕時(shí)，液晶分子會(huì)根據(jù)指令對(duì)光線的振動(dòng)方向進(jìn)行特定角度的旋轉(zhuǎn)。

為了消除重影并確保左右眼看到的畫(huà)面足夠純凈，AI在訓(xùn)練過(guò)程中引入了結(jié)構(gòu)化的光學(xué)損失函數(shù)，其中特別重要的一項(xiàng)被稱(chēng)為“互斥損失”（Mutual-Exclusion Loss）。

這套算法強(qiáng)制約束了光線的傳播路徑，屬于左眼的信息在右眼的視角下必須保持“不可見(jiàn)”，反之亦然。

通過(guò)這種方式，各層屏幕的相位在物理層面實(shí)現(xiàn)了精密配合，從而自動(dòng)抵消了信號(hào)串?dāng)_，精準(zhǔn)合成了具有正確深度遮擋關(guān)系的立體光場(chǎng)。

作者簡(jiǎn)介

本文第一作者為復(fù)旦在讀博士馬煒杰，今年26歲，他是復(fù)旦大學(xué)、上海人工智能實(shí)驗(yàn)室、上海創(chuàng)智學(xué)院的聯(lián)合專(zhuān)項(xiàng)博士生。

他的研究興趣包括計(jì)算機(jī)視覺(jué)與圖形學(xué)、虛擬/擴(kuò)展現(xiàn)實(shí)以及用于科學(xué)（光學(xué)/物理/醫(yī)學(xué)）的人工智能。

他的導(dǎo)師是歐陽(yáng)萬(wàn)里和鐘翰森，二人在上海AI Lab均有任職，歐陽(yáng)萬(wàn)里同時(shí)也是香港中文大學(xué)教授，鐘翰森同時(shí)也是上海創(chuàng)智學(xué)院全時(shí)導(dǎo)師。

二人亦是論文的通訊作者。

此外，北航Zhangrui Zhao、浙江大學(xué)博士生趙燦宇也參與了論文工作。

論文地址：
https://www.nature.com/articles/s41586-025-09752-y