--- title: "3D高斯分佈溅射（3D Gaussian Splatting）" slug: 3d-gaussian-splatting language: zh-TW source: https://aiterms.tw/learning/what-is-3d-gaussian-splatting updated_at: 2026-06-22 tags: [電腦視覺, 深度學習, 神經網路, 3D視覺] ipas_term: false type: deep-dive --- # 3D高斯分佈溅射 是什麼？ > 用3D高斯分佈代表場景幾何，通過可微分光柵化實現高速3D重建和新視角合成。 ## 核心概念 3D高斯分佈溅射將3D場景表示為大量3D高斯分佈的集合。每個高斯由位置（均值）、協方差矩陣（決定形狀和方向）、顏色和透明度參數化。相比NeRF的隱式MLP表達，3DGS更直觀：每個高斯對應場景中的一個"小塊"區域。整個場景由數萬個高斯組成，覆蓋整個三維空間。 核心創新是可微分光柵化（Differentiable Rasterization）。給定相機投影，3DGS無需體積渲染積分，直接計算每個高斯在影像平面的投影（2D高斯），按視角排序，逐像素合成。這避免了NeRF的逐光線採樣瓶頸，大幅加速推理。 ## 運作原理 - **初始化和優化**以點雲開始。從多視角影像或SfM得到稀疏點雲，每個點初始化為一個高斯。優化過程調整每個高斯的位置、協方差、顏色和透明度，最小化渲染誤差。自適應密度控制會在不足的區域添加新高斯，在冗餘區域移除舊高斯，使高斯數量動態調整。 ## 可微分光柵化管線 1. 將3D高斯投影到相機平面，得到2D高斯 2. 計算每個高斯對每個影像像素的貢獻 3. 按深度排序（畫家算法） 4. 逐像素融合高斯貢獻（考慮透明度和顏色） 整個管線可微，梯度反向傳播到高斯參數，支持端到端優化。 - **高效實現**利用GPU並行化。高斯投影、排序、融合都在GPU上高效執行，支持實時渲染。 訓練通常數分鐘到十數分鐘完成，比NeRF快數十倍。推理可在實時幀率（30-60 FPS）執行，遠優NeRF。 ## 實際應用 - **即時3D重建**是3DGS的殺手級應用。從多視角照片快速重建高保真場景，實時預覽。適合現場掃描、房產展示、文物快速數位化。 - **虛擬攝影機**在遊戲或電影中實時生成新視角。美術團隊掃描現實場景，3DGS重建，遊戲引擎實時渲染任意視角。相比預渲染視頻，3DGS更靈活。 - **互動式3D編輯**利用高斯的幾何直觀性。用戶可直接拖動高斯，修改顏色或透明度，即時看到結果。相比NeRF的黑盒編輯，3DGS更友好。 - **VR和AR應用**利用實時性能。VR頭盔需實時渲染立體視角（90-120 FPS），3DGS能輕鬆達成，NeRF難以負擔。 - **動態場景建模**（如人物動作）利用變形高斯。添加變形字段，每個高斯隨時間變形，編碼動態。 ## 常見誤區 誤區一：3DGS直接替代NeRF。實際上兩者各有優勢。3DGS快但編輯困難（高斯數多時），NeRF慢但隱式表達更緊湊。 誤區二：3DGS是點雲的簡單包裝。實際上3DGS的高斯形狀和透明度參數化使其能精確表達曲面和反射，遠優靜態點雲。 誤區三：3DGS無需訓練資料就能重建。實際上仍需多視角影像作監督信號，差別只是訓練速度。 ## 與相關技術的比較 - **3DGS vs NeRF**：3DGS快50-100倍，易編輯；NeRF隱式表達更緊湊，無需初始化點雲。 - **3DGS vs 點雲**：3DGS每點有協方差和透明度，能精確表達曲面；點雲無方向信息。3DGS適合渲染，點雲適合幾何分析。 - **3DGS vs 網格**：3DGS無顯式連接，不受拓撲限制；網格明確定義曲面。3DGS適合複雜幾何，網格適合簡潔拓撲。 ## 常見問題 ### 為什麼3DGS比NeRF快這麼多？ 速度差異來自根本不同的渲染策略。NeRF逐光線採樣，每條光線在空間中採樣64-128個點，每點調用MLP計算顏色和密度。800×600影像=48萬光線，每次迭代需數千萬次MLP調用。3DGS則直接光柵化高斯到影像平面，每個高斯投影為2D高斯，逐像素融合（幾何計算）。沒有MLP調用，完全是乘法和加法運算，GPU並行效率極高。訓練上，3DGS從現有點雲初始化，快速収斂；NeRF從零開始，收斂慢。推理上，3DGS可用光柵化管線的成熟最佳化，3DGS專門設計支持實時性。 ### 3DGS的高斯協方差如何計算？ 高斯協方差是關鍵參數，決定高斯在空間中的形狀。初始化時通常設為球形（單位協方差）。優化中通過參數化學習。由於協方差矩陣需正定（凸性），通常不直接優化矩陣，而是優化其Cholesky分解或特徵分解。一個常用參數化是3個尺度向量（sx, sy, sz）和3個旋轉角（四元數），協方差 = R * diag(sx, sy, sz)^2 * R^T，其中R是旋轉矩陣。優化中梯度反向傳播到尺度和旋轉參數。自適應控制會移除不必要的小高斯（尺度接近零）或分割大高斯（覆蓋不均勻區域）。 ### 3DGS如何處理視角相關的反射（視差反射）？ 靜態高斯無法表達視角相關的顏色變化（如鏡面反射）。例如金屬表面的反光隨視角變化。改進方向包括：1) 高斯球諧函數（SH）：每個高斯的顏色不再是常數，而是球諧函數（類似NeRF的視角相關顏色），支援高頻反射；2) 多層高斯：使用多個高斯層，學習視角相關的不透明度混合；3) 隱式邊界函數：結合隱式SDF，更精確表達邊界。當前最實用的是球諧函數方法，只增加少量參數（3阶SH = 16個係數/高斯），保持速度優勢，表達能力接近NeRF。 --- 深度解說頁：https://aiterms.tw/learning/what-is-3d-gaussian-splatting 快查頁：https://aiterms.tw/terms/3d-gaussian-splatting 最後更新：2026/06/22