Nature一作！C9大學博士生突破裸眼3D顯示難題

北京時間11月27日，上海人工智能實驗室/香港中文大學歐陽萬里、上海人工智能實驗室鐘翰森為共同通訊作者在全球頂級期刊《Nature》上發表題為“Glasses-free 3D display with ultrawide viewing range using deep learning”的研究論文。復旦大學/上海人工智能實驗室二年級博士研究生馬煒杰為本文第一作者。

上海人工智能實驗室鐘翰森研究員與歐陽萬里教授提出了一種名為EyeReal的新型無需眼鏡3D顯示系統，通過深度學習實時優化有限的SBP，首次實現了桌面顯示器尺度下的全視差3D顯示，并具備無縫的超寬視角范圍。該系統結合了精確的雙目視覺建模與深度學習實時優化算法，能夠為每只眼睛生成最優的光場輸出。EyeReal在低成本光場傳輸裝置上實現了超過100°的視角、1920 × 1080的空間分辨率以及50 Hz的刷新率。實驗表明，該系統不僅支持立體視差、運動視差和焦距視差，還能在任意雙目觀看位置下實時合成高質量光場，為教育工具、3D設計和虛擬現實等應用提供了潛在可能。

動態SBP利用：從靜態妥協到實時優化

傳統3D顯示系統對SBP的利用是被動和靜態的，導致在顯示尺寸、視角和視差完整性之間必須做出妥協。EyeReal通過實時優化SBP的使用，將有限的光學信息集中在眼睛及其周圍區域，從而實現了在廣泛視角范圍內的高質量3D成像。根據傅里葉光學，SBP定義為系統信息容量，其數學表達式為 S= A δ x δ y =4A( t x, max , t y, max ) 。例如，一臺24英寸、1920 × 1080分辨率的顯示器在532 nm綠光波長下的視野角僅為約 0.1 ° × 0.1 ° ，而完整光場所需SBP高達565G，遠超當前顯示技術極限。EyeReal通過模擬人腦對視角切換的響應間隔，實時優化雙目周圍的光信息流，從而在有限SBP下實現最優顯示效果。

圖 1. 在有限 SBP 使用下，不同自立體模型與 EyeReal 顯示結果的示意比較

光場生成：物理建模與神經網絡結合

EyeReal采用多層液晶面板堆疊作為光場傳輸裝置，無需復雜定制光學元件。其光強輸出遵循馬呂斯定律，表示為 I= ? i∈[ F i ] ( I 0 (i) sin ? 2 ( ∑ d∈D ? d )) 。系統通過建立雙目相機模型，將光場與雙目成像平面對應，利用6D位姿矩陣實現幾何編碼（圖2a、d）。隨后，通過輕量級全卷積網絡將視網膜圖像分解為分層相位圖（圖2e），并結合結構化損失函數進行優化，實現實時、高質量的光場合成。

圖 2. EyeReal 光場生成方法

實驗結果：全視差3D顯示的有效性驗證

EyeReal在多種場景下進行了全面評估。在計算機生成內容中，無論是物體級（擴展數據圖4a、b）還是場景級（圖3a）重建，均表現出高質量的立體輸出。真實場景捕捉結果（圖3b、擴展數據圖5a–d、6a–b）也驗證了其在不同尺度和光照條件下的魯棒性。系統在水平、垂直和徑向運動范圍內均能保持視圖一致性（圖3c），并支持焦距視差，在不同焦平面下呈現清晰的深度選擇性（圖3d）。物理設備測試中，左右眼視圖具有明顯視覺分離（圖3e），且在多維空間運動中保持穩定性（圖3e右）。焦距評估顯示前景與背景可根據焦點位置清晰或模糊（圖3f），有效緩解了輻輳-調節沖突（VAC）。此外，動態內容實時渲染（補充視頻4）進一步展示了其在實際應用中的潛力。

圖 3. EyeReal 的全視差自動立體演示

性能基準測試：局部與全局一致性優勢

與現代視圖分段自動立體顯示相比，EyeReal在雙目周圍區域提供了更廣的高質量視野（圖4a左）。視圖分段模型的有效視點范圍（<20 mm）甚至小于人眼直徑（約25 mm），且易因預設眼位與實際瞳距不匹配導致視覺失真。而EyeReal通過優化眼睛周圍的光場生成，確保了廣域內的高質量一致性和運動容錯（圖4a右）。在視圖密集模型中，現有方法如基于非負張量分解的迭代視圖密集方法和神經視圖密集方法在近距離或斜向視角下泛化能力差（圖4c、d），而EyeReal憑借精確的物理建模在所有視野范圍內均表現優異。此外，EyeReal的實時運行速度達50.2幀/秒，比現有方法快1–2個數量級（圖4e）。景深連續性評估顯示其在不同焦深下均具有平滑過渡和清晰峰值（圖4f）。任意視點性能的熱圖（圖4g）進一步證實了其在超100°視角和無縫運動范圍內的優異表現。

圖 4. 對大型顯示中 EyeReal 和被動 SBP 利用模型的多層次一致性能評估

總結與展望：動態SBP利用開啟自然3D顯示新途徑

EyeReal通過將物理原理與AI驅動的數學模型相結合，實現了對有限SBP的動態優化利用，首次在大尺度、實時、超寬視角的無需眼鏡3D顯示方面取得了突破。該系統不僅解決了傳統顯示中圖像尺度與視角之間的根本矛盾，還通過低成本硬件和消費級組件展示了實際應用的可行性。未來，通過集成時間復用、定向背光等技術，EyeReal有望擴展至多用戶場景。此外，其動態SBP利用策略也有潛力應用于其他光場顯示技術，如大規模可更新全息顯示，為實現真正自然的無需眼鏡3D顯示開辟了新的技術路徑。

馬煒杰簡介

馬煒杰，現為復旦大學計算與智能創新學院二年級博士。本科就讀于鄭州大學電子信息類中的通信工程專業，碩士就讀于香港中文大學（深圳）計算機與信息工程專業。

編輯、審核：吳佳陽

版權聲明：本文由“TOP大學來了”綜合自“復旦大學、Nature、高分子科學前沿”，文章轉摘只為學術傳播，如涉及侵權問題，請聯系我們，我們將及時修改或刪除。