《三體》“宇宙閃爍”成真！免佩戴裸眼3D屏登Nature

• 克雷西 發(fā)自 凹非寺
  量子位 | 公眾號 QbitAI

《三體》中的“宇宙為你閃爍”，不再是科幻了。

最新登上Nature的顯示屏EyeReal，無需佩戴眼鏡就能把3D畫面精準(zhǔn)投射到你的眼中。

而且尺寸只有桌面顯示器大小，成本也非常低廉，一塊4090加上屏幕和游戲機傳感器就能搞定。

中國團隊出品，一作還是一位26歲復(fù)旦在讀博士生，上海人工智能實驗室、上海創(chuàng)智學(xué)院聯(lián)合培養(yǎng)。

無需佩戴實現(xiàn)裸眼3D

EyeReal技術(shù)實現(xiàn)了一種裸眼3D顯示方案，觀看視角的覆蓋范圍超過100度。

而且在這個范圍內(nèi)，你隨便走動，畫面都是連續(xù)順滑的，不會像以前那種老設(shè)備一樣，稍微一動腦袋畫面就亂跳或者出現(xiàn)重影。

長相上，它的大小和普通的24寸桌面顯示器相當(dāng)，但別小看這個尺寸，它的有效3D成像面積達到了0.1到0.2平方米，跟以前那種只能顯示指甲蓋大小的全息技術(shù)比起來，足足大了1000倍。

在立體感方面，它實現(xiàn)了真正的“全視差”顯示，不僅支持左右看（水平），還支持上下看（垂直）和前后湊近了看（徑向）這三個維度。

當(dāng)你站起來或者把臉湊近屏幕時，畫面里的物體會像真實模型一樣，呈現(xiàn)出完全符合物理規(guī)律的幾何透視變化。

而且，EyeReal還有個絕活叫“聚焦視差”，能模擬出人眼的景深效果。

簡單說，就是當(dāng)你盯著前景的物體看時，背景自然就變模糊了，反過來也一樣。

這讓眼睛的對焦動作和大腦的距離感知保持一致，解決了那種讓人頭暈惡心的輻輳調(diào)節(jié)沖突（VAC），也就是所謂的“暈3D”，所以看久了也不會覺得累或者暈。

在實現(xiàn)這么多復(fù)雜效果的同時，它的畫質(zhì)一點沒縮水，依然保持了1920×1080的高清分辨率，刷新率也超過了50Hz，畫面非常流暢，完全能撐得起實時的動態(tài)內(nèi)容。

計算光學(xué)與AI深度融合

EyeReal技術(shù)本質(zhì)上是一種深度融合了計算光學(xué)與人工智能的新型顯示架構(gòu)。它提出了一種名為動態(tài)空間-帶寬積（SBP）利用的全新策略，通過主動控制光場，巧妙地突破了物理學(xué)的硬性限制。

以前的裸眼3D技術(shù)之所以很難同時做到“大屏幕”和“寬視角”，主要是被SBP的物理常數(shù)卡住了脖子，這個物理指標(biāo)的總量是有限的，這意味著屏幕尺寸和觀看視角通常是此消彼長的關(guān)系。

比如現(xiàn)有的全息顯示技術(shù)，雖然視角連貫自然，但畫面只能做到極小（通常僅厘米級）；而常見的光柵式顯示器雖然屏幕能做大，但觀看視角卻很窄，且畫面往往不連續(xù)。

EyeReal通過動態(tài)SBP利用策略破解了這個死局。

它的思路不再是試圖在整個空蕩蕩的空間里重建光場，而是利用傳感器實時鎖定觀察者的眼球位置，通過精密計算，將有限的光學(xué)信息“聚攏”起來，只精準(zhǔn)地投射到你雙眼注視的那個小范圍內(nèi)。

為了實現(xiàn)這一精準(zhǔn)投射，系統(tǒng)首先需要解決“幾何對齊”的難題。

EyeReal建立了一套物理精確的雙目幾何建模系統(tǒng)，它把你的雙眼想象成兩臺正對著光場中心的針孔相機，并計算出雙眼在光場坐標(biāo)系中的6D姿態(tài)矩陣（眼球的位置和朝向）。

這樣就能在光場和你的視網(wǎng)膜之間建立起精確的對應(yīng)關(guān)系。

但是，因為人眼的位置和角度隨時都在變，如果直接拿原始圖像去算，計算量就太復(fù)雜了。

為了解決這個問題，系統(tǒng)引入了一個關(guān)鍵技術(shù)，叫“眼球幾何編碼”（Ocular Geometric Encoding）。

這招利用了逆向透視變換原理，根據(jù)算出來的眼睛姿態(tài)，把原本呈現(xiàn)在你視網(wǎng)膜上的目標(biāo)圖像，反向投影回那幾層屏幕所在的平面上。

這個過程就像把隨著視角亂變的復(fù)雜圖像，統(tǒng)一轉(zhuǎn)化成了一種標(biāo)準(zhǔn)化的、跟屏幕結(jié)構(gòu)對齊的平面扭曲圖像。

有了這種標(biāo)準(zhǔn)化的輸入，后面的神經(jīng)網(wǎng)絡(luò)就不需要每次都重新學(xué)習(xí)幾何關(guān)系，也能輕松應(yīng)對位置和觀看角度的變化。

在硬件構(gòu)成上，EyeReal采用了一種多層面板堆疊的結(jié)構(gòu)，由三層普通的TFT-LCD液晶面板平行放置，層間距約為3厘米，配合背部的白光LED光源和前后的正交偏振片工作。

系統(tǒng)中不包含微透鏡陣列或空間光調(diào)制器等復(fù)雜光學(xué)元件。其核心的光學(xué)調(diào)制與圖像合成完全依賴于一個輕量級的全卷積神經(jīng)網(wǎng)絡(luò)（FCN）驅(qū)動。

該網(wǎng)絡(luò)采用類似U-Net的架構(gòu)，包含下采樣與上采樣模塊以及跳躍連接，以確保在處理圖像時既能捕捉全局結(jié)構(gòu)又能保留高頻細節(jié)。

AI模型接收經(jīng)過幾何編碼的歸一化圖像作為輸入，執(zhí)行復(fù)雜的逆向渲染任務(wù)，計算出三層液晶面板上每一個像素點應(yīng)具有的相位數(shù)值。

物理上，這一過程利用了馬呂斯定律（Malus’s Law）對偏振光進行調(diào)制。

馬呂斯定律是物理光學(xué)中描述偏振光強度變化的核心法則，光線最終穿過最后一層偏振片射出時的亮度，并不取決于某單層屏幕的遮擋，而是嚴格取決于光線在穿過所有層級后累積的相位總和。

具體而言，最終的光強與所有層相位之和的正弦平方成正比，這意味著，AI可以通過計算極其復(fù)雜的相位組合，讓光線在經(jīng)過層層接力旋轉(zhuǎn)后，精準(zhǔn)地以所需的亮度到達人眼視網(wǎng)膜。

Eyereal中，三層液晶面板置于正交的偏振片之間，當(dāng)背部的白光穿過第一層偏振片后，會轉(zhuǎn)變?yōu)檎駝臃较騿我坏钠窆狻?/p>

此時，液晶面板上的每一個像素點都不再僅僅是顯示顏色的開關(guān)，而是被AI算法控制成為了一個微小的、可編程的相位延遲器。

光線依次穿過這三層屏幕時，液晶分子會根據(jù)指令對光線的振動方向進行特定角度的旋轉(zhuǎn)。

為了消除重影并確保左右眼看到的畫面足夠純凈，AI在訓(xùn)練過程中引入了結(jié)構(gòu)化的光學(xué)損失函數(shù)，其中特別重要的一項被稱為“互斥損失”（Mutual-Exclusion Loss）。

這套算法強制約束了光線的傳播路徑，屬于左眼的信息在右眼的視角下必須保持“不可見”，反之亦然。

通過這種方式，各層屏幕的相位在物理層面實現(xiàn)了精密配合，從而自動抵消了信號串?dāng)_，精準(zhǔn)合成了具有正確深度遮擋關(guān)系的立體光場。

作者簡介

本文第一作者為復(fù)旦在讀博士馬煒杰，今年26歲，他是復(fù)旦大學(xué)、上海人工智能實驗室、上海創(chuàng)智學(xué)院的聯(lián)合專項博士生。

他的研究興趣包括計算機視覺與圖形學(xué)、虛擬/擴展現(xiàn)實以及用于科學(xué)（光學(xué)/物理/醫(yī)學(xué)）的人工智能。

他的導(dǎo)師是歐陽萬里和鐘翰森，二人在上海AI Lab均有任職，歐陽萬里同時也是香港中文大學(xué)教授，鐘翰森同時也是上海創(chuàng)智學(xué)院全時導(dǎo)師。

二人亦是論文的通訊作者。

此外，北航Zhangrui Zhao、浙江大學(xué)博士生趙燦宇也參與了論文工作。

論文地址：
https://www.nature.com/articles/s41586-025-09752-y