神經輻射場（NeRF）：從靜態表示到動態場景的革命性演進

在數字世界的深處，一場默默無聲的革命正在改變我們看待虛擬空間的方式。神經輻射場（NeRF）技術，這個隱藏在簡單全連接神經網絡權重中的3D場景表示法，正以驚人的速度發展。它將復雜的三維空間壓縮進網絡權重，再通過巧妙的體積渲染技術，生成出令人驚嘆的逼真視圖。從早期需要大量標定圖像的局限，到如今能夠從單一照片重建場景；從只能處理靜態物體的束縛，到能夠捕捉光影變幻與物體運動的自由；NeRF技術正悄然打破數字重建的邊界。這場視覺合成的靜默革命，不僅重塑了計算機視覺與圖形學的交叉領域，更為未來的虛擬體驗開啟了一扇神秘之門。

神經網絡里的3D世界

神經輻射場（NeRF）技術的核心魅力在于它能把整個三維場景濃縮到一個看似簡單的神經網絡中。這種技術不同于傳統的3D建模方法，它沒有明確存儲每個點的位置和顏色，而是通過網絡的權重來隱式表達整個空間結構。就像魔術師把大象藏進小禮帽一樣，NeRF把復雜的立體世界壓縮進了網絡參數里。

在這個神奇的技術背后，最基礎的構件是神經體積渲染。傳統的渲染技術常常需要先構建明確的3D模型，而神經體積渲染則采用了更加靈活的方式。它利用光線追蹤的原理，從視點位置向場景中發射假想的光線，然后沿著這些光線采樣多個點，通過神經網絡預測每個點的顏色和密度值，最終合成出一個完整的像素顏色。

具體來說，當我們想知道某個視角下看到的畫面時，會從攝像機位置向場景中發射無數條光線，每條光線對應最終圖像中的一個像素。沿著每條光線，系統會均勻取樣多個點，將這些點的三維坐標和視角方向輸入到神經網絡中。網絡輸出這些點的RGB顏色值和體積密度，通過一個特殊的體積渲染公式，將這些點的貢獻累加起來，就得到了該像素的最終顏色。

Mildenhall等人在2020年提出的原始NeRF模型使用了一個全連接神經網絡作為場景表示的載體。這個網絡接收5D輸入：三維空間坐標（x，y，z）加上二維視角方向（θ，φ），輸出每個點的RGB顏色和體積密度σ。這種設計允許模型學習場景中的幾何形狀和光照效果，甚至能表達半透明物體和復雜的光線反射特性。

但神經網絡有個固有的特性：它們更容易學習低頻信息，而對高頻細節的捕捉能力較弱。這意味著如果直接訓練這樣的網絡，生成的圖像往往會顯得模糊，缺乏精細紋理。為了解決這個問題，NeRF引入了一個關鍵技術——位置編碼。位置編碼將原始的低維坐標映射到高維空間，通過一系列不同頻率的正弦和余弦函數，將輸入信號分解成多個頻率成分。這樣一來，網絡就能更好地學習到高頻細節，生成的圖像也更加銳利清晰。

NeRF技術不僅能生成高質量的新視角圖像，還具有一些獨特的特性。由于它學習了場景的幾何結構，我們可以從中提取深度信息，生成深度圖；它存儲在網絡權重中的場景表示也是一種高效的壓縮方式，有時甚至比單張訓練圖像還要小；此外，它還能正確處理視角變化帶來的顏色和反射變化，生成具有真實光照效果的圖像。

雖然NeRF技術表現出色，但也面臨一些實際挑戰。訓練一個NeRF模型通常需要大量圖像（典型情況下至少80張），且這些圖像需要有精確的相機參數信息；訓練和渲染過程都相當耗時；此外，原始NeRF僅適用于靜態場景，難以處理動態物體、反射表面等復雜情況。這些局限性促使研究人員不斷開發新的改進方案。

少圖重建的新思路

原始NeRF技術雖然能生成令人驚嘆的三維場景重建，但它對訓練數據的要求極為苛刻。通常需要從多角度拍攝同一場景的大量照片（至少80張），這在實際應用中構成了不小的障礙。試想一下，如果要重建一個臨時展覽或快速變化的場景，收集這么多照片幾乎是不可能的任務。這促使研究人員開始探索如何用更少的圖像實現高質量的場景重建。

PixelNeRF的出現為這一問題提供了創新解決方案。Yu等人在2021年提出的這一方法，巧妙地將卷積神經網絡（CNN）引入NeRF框架。不同于原始NeRF直接使用空間坐標和視角作為輸入，PixelNeRF首先使用CNN從輸入圖像中提取特征。這些特征編碼了場景的先驗信息，使網絡能夠＂猜測＂未見區域的可能外觀。

當我們沿著光線投射采樣點時，PixelNeRF會查詢與這些點對應的圖像特征，并將它們與空間坐標一起輸入到MLP網絡中。這種方式使模型能夠利用圖像中的上下文信息，大大提高了從少量視圖重建場景的能力。更令人印象深刻的是，PixelNeRF在某些簡單場景下甚至可以只用一張圖像就實現合理的三維重建，這在原始NeRF中是無法想象的。

在ShapeNet數據集上的實驗表明，PixelNeRF使用單視圖輸入就能生成相當不錯的新視角圖像。雖然用于真實照片時仍會產生一些失真和偽影，但增加到2-3張輸入圖像后，效果就有了顯著提升。這意味著使用PixelNeRF，我們可以大大減少數據采集的工作量，同時保持不錯的重建質量。

另一個重要的技術突破來自RegNeRF。Niemeyer等人在2022年發現，當訓練數據稀疏時，傳統NeRF容易產生＂浮動偽影＂——即場景中出現不應存在的漂浮物體或扭曲區域。這些偽影出現的根本原因是網絡在未觀察到的區域缺乏約束，導致幾何形狀預測不一致。

RegNeRF通過一個巧妙的策略解決了這個問題：它在未觀察到的視角上對圖像塊進行正則化。具體來說，RegNeRF會在訓練過程中從未知視角采樣光線，為這些區域施加幾何平滑度和顏色一致性的約束。雖然我們沒有這些未知視角的真實圖像，但可以合理假設真實場景應該是平滑連貫的，不會有突兀的物體漂浮在空中。

RegNeRF引入了兩個關鍵的正則化損失項：一個用于確保幾何形狀的平滑性，另一個用于顏色的合理性。這些損失項與傳統的重建損失一起優化，使模型能夠在未觀察區域生成更合理的預測。最終，RegNeRF能夠使用僅僅3張校準圖像就生成質量可接受的場景重建，大大減輕了數據采集負擔。

與PixelNeRF不同，RegNeRF保留了原始NeRF的MLP架構，沒有引入額外的CNN組件。這使它在預訓練階段的計算成本較低，實現起來也更加簡單。不過，RegNeRF和PixelNeRF也可以看作互補技術——前者專注于減少偽影，后者則側重于利用圖像特征提升重建質量。

這些針對少量圖像重建的技術創新，大大拓展了NeRF的應用范圍。從博物館展品的快速數字化到電商產品的3D展示，從建筑測量到現場勘察，能夠用1-3張照片就生成合理的三維場景，對許多實際應用來說是革命性的突破。雖然這些技術還有改進空間，特別是在處理復雜紋理和反光表面時，但它們已經為NeRF技術走向大規模實用化鋪平了道路。

打破表現局限

隨著NeRF技術的發展，研究者們開始關注如何解決其在多尺度和無約束場景中的局限性。當我們放大或縮小查看一個場景時，原始NeRF模型常常會出現鋸齒狀的邊緣和失真，這種現象在計算機圖形學中被稱為＂鋸齒＂或＂走樣＂。這就像我們用低分辨率顯示器看高清圖片時看到的那種參差不齊的邊緣。

Barron等人在2021年提出了Mip-NeRF，一種能夠應對多尺度問題的改進方案。傳統NeRF使用沿直線射線的點采樣，而Mip-NeRF則引入了＂射線錐體＂的概念。想象一下，當我們遠看一個物體時，每個像素實際對應了場景中的一個較大區域，而不是一個點。Mip-NeRF正是模擬了這種現象，它不再沿著細線采樣點，而是采樣一個隨距離擴大的錐形區域。

這些錐形區域用多變量高斯分布來近似表示，讓網絡能夠處理不同尺度下的空間信息。通過計算位置編碼在這些分布上的期望值，Mip-NeRF巧妙地解決了尺度變化帶來的問題。與超采樣等傳統抗鋸齒方法相比，Mip-NeRF不僅效果更好，計算效率也大幅提升。這意味著無論我們從遠處觀看場景還是近距離檢視細節，都能獲得平滑而真實的視覺體驗。

另一個值得關注的改進是Raw NeRF。傳統NeRF使用經過處理的低動態范圍（LDR）圖像進行訓練，這些圖像通常已經過噪聲去除和色彩處理。雖然這樣的圖像看起來干凈，但它們在暗部往往丟失了大量細節。想象一下在昏暗房間里拍照，普通相機會把陰影部分全部變成黑色，而實際上那里可能有很多看不清的物體。

Mildenhall等人在2022年提出的Raw NeRF采用了一種逆向思維，它直接使用相機輸出的原始、未經處理的線性圖像來訓練網絡。這些圖像看起來可能有噪點且對比度低，但保留了更廣泛的亮度信息。Raw NeRF先在這種原始數據上進行學習，然后在渲染新視圖時應用圖像處理技術，就像給照片后期調色一樣。

這種方法帶來了驚人的結果，尤其在低光照條件下。Raw NeRF能夠在幾乎完全黑暗的場景中恢復細節，表現超過了專業的深度去噪方法。更讓人驚訝的是，它還允許對渲染結果進行后期處理，例如調整曝光、色調映射，甚至改變焦點位置。這就像給已經拍好的照片重新選擇相機設置一樣神奇。

在無約束場景方面，Martin-Brualla等人在2021年提出的NeRF-W（Wild）解決了另一個實際問題。傳統NeRF假設場景是靜態的，光照條件固定，沒有移動物體。但現實世界充滿了變化：游客在景點走動，光線隨時間變化，天氣也可能轉換。如果用這樣的照片訓練傳統NeRF，結果往往會出現＂幽靈＂般的漂浮物體。

NeRF-W的核心創新在于將場景分解為靜態和瞬態兩個成分。靜態成分表示不變的幾何結構，如建筑物和地形；瞬態成分則包括臨時物體、光照變化等。模型通過兩種嵌入向量來控制這些成分：外觀嵌入影響整體視覺效果，瞬態嵌入則處理臨時元素。

通過這種解耦方式，NeRF-W能夠從旅游照片等無約束圖像集合中學習場景結構，同時過濾掉移動的人和變化的光照。更妙的是，它還能在渲染時控制這些變化因素，讓我們可以選擇在陽光明媚或陰天下的場景外觀，就像擁有了一個可以操控天氣的虛擬場景。這大大擴展了NeRF在現實應用中的潛力，使其不再局限于精心控制的拍攝環境。

未來應用展望

隨著神經輻射場技術的不斷成熟，它已經開始在多個領域展現出令人振奮的應用潛力。在影視制作行業，NeRF技術正逐漸改變傳統的視覺特效工作流程。過去，創建一個逼真的3D場景需要大量的建模、材質設置和光照調整工作，耗時費力且成本高昂。而使用NeRF，只需從不同角度拍攝實際場景的照片，就能快速重建出完整的3D環境。

這種便利性讓小成本制作也能實現以前只有大制片廠才能做到的特效鏡頭。想象一個場景：導演想要一個復雜的環繞拍攝，攝像機需要在狹小空間中做不可能的運動。傳統方法需要搭建復雜的軌道系統，而使用NeRF，只需在可行的位置拍攝足夠的參考照片，就能合成出任意路徑的虛擬攝像機運動。電影《黑客帝國》中著名的＂子彈時間＂效果，如今使用NeRF技術可以更加靈活地實現，并且能夠在更多樣化的場景中應用。

虛擬現實和增強現實領域也從NeRF技術中獲益匪淺。傳統VR內容通常依賴于預先建模的3D環境，缺乏真實世界的細節和質感。NeRF則能直接從現實場景照片中重建出具有照片級真實感的虛擬環境。用戶戴上VR頭顯后，可以自由探索這些環境，體驗如同親臨其境的沉浸感。

在建筑和房地產行業，NeRF技術正在改變物業展示的方式。傳統的虛擬看房通常使用全景照片或預渲染的3D模型，用戶只能從固定的幾個視角查看房間。而基于NeRF的虛擬看房則允許潛在買家自由移動，從任意角度查看房間細節，甚至可以模擬不同時間的光照效果。這大大提升了遠程看房的體驗質量，對于異地購房者尤為有價值。

同樣，在文化遺產保護領域，NeRF提供了一種高效的數字化方法。珍貴的文物和古跡往往面臨自然侵蝕或人為破壞的風險，數字化保存變得越來越重要。使用NeRF技術，考古學家和保護人員可以創建這些遺產的高精度數字副本，不僅記錄了它們的幾何形狀，還包括材質、紋理和光照特性。公眾也能通過這些數字重建在不親臨現場的情況下，深入了解這些文化遺產。

不過，NeRF技術在走向廣泛應用前，還面臨一些挑戰。計算效率是一個突出問題。傳統NeRF模型的訓練過程可能需要數小時甚至數天，渲染單張圖像也需要數秒到數分鐘。這對于需要實時響應的應用（如VR交互）構成了障礙。幸運的是，研究者們正在探索各種模型壓縮和加速方法，如Instant-NGP，它通過哈希編碼和CUDA優化，將渲染速度提升了兩個數量級。

另一個挑戰是動態場景的捕捉。雖然NeRF-W等方法已經能處理一定程度的場景變化，但完全捕捉快速運動的物體或高度動態的場景仍然困難。為此，研究者提出了Dynamic NeRF等變體，通過在輸入中加入時間維度，使模型能夠學習場景隨時間的變化。這為創建＂4D＂內容（三維空間加時間）開辟了可能。

數據收集的簡化也是未來研究的重點方向。盡管PixelNeRF等方法已經降低了所需圖像的數量，但獲取準確的相機參數仍然是一個技術門檻。研究者正在開發能夠從無序照片集合中自動估計相機位置的方法，甚至探索只使用單一設備（如智能手機）就能完成整個數據采集過程的解決方案。

隨著這些挑戰被逐一克服，NeRF技術有望在更廣泛的領域得到應用。從電子商務中的產品3D展示，到教育領域的交互式學習材料；從城市規劃的虛擬原型，到醫學成像的立體可視化，神經輻射場正在悄然改變我們與數字內容交互的方式。這不僅是計算機視覺和圖形學的技術進步，更代表了我們對物理世界數字化表達方式的一次飛躍。

參考資料

1. Mildenhall， B.， et al. （2020）. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis.

2. Yu， A.， et al. （2021）. pixelNeRF: Neural Radiance Fields from One or Few Images.

3. Niemeyer， M.， et al. （2022）. RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs.

4. Barron， J.T.， et al. （2021）. Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields.

5. Martin-Brualla， R.， et al. （2021）. NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections.