awesome 3D gaussian splatting下載 - awesome 3D gaussian splatting原始碼下載

很棒的 3D 高斯濺鍍資源

專注於 3D 高斯潑濺的論文和開源資源精選列表，旨在跟上未來幾個月預期的研究激增。如果您有任何補充或建議，請隨時貢獻。也歡迎其他資源，如部落格文章、影片等。

新增了點面
新增了原作者的 3DGS 教程
添加了GauStudio
新增了23 篇論文：Touch-GS、GGRt、FDGaussian、SWAG、Den-SOFT、Gaussian-Flow、View-Consistent 3D Editing、BAGS、GeoGaussian、GS-Pose、Analytic-Splatting、Seamless 3D Maps、Texture-GS、 Recent Advances 3DGS、用於密集視覺 SLAM 的緊湊型 3DGS、BrightDreamer、3DGS-Reloc、Beyond Uncertainty、運動感知 3DGS、Fed3DGS、GaussNav、3DGS-Calib 和 NEDS-SLAM

2024 年 3 月 17 日：

更新 3DGS.cpp 的儲存庫名稱和連結（最初為 VulkanSplatting）

2024 年 3 月 16 日：

斯普拉特電視
新增了 6 篇論文：GaussianGrasper、新的分割演算法、Controllable Text-to-3D Generation、Spring-Mass 3DGS、Hyper-3DGS 和 DreamScene

2024 年 3 月 14 日：

新增了 6 篇論文：SemGauss、StyleGaussian、Gaussian Splatting in Style、GaussCtrl、GaussianImage 和 RAIN-GS

2024 年 3 月 8 日：

教學：如何捕捉 3DGS 影像
新增了 6 篇論文：SplattingAvatar、DNGaussian、Radiative Gaussians、BAGS、GSEdit 和 ManiGaussian

2024 年 3 月 8 日：

新增了 3DGStream 檢視器

2024 年 3 月 6 日：

新增了 1 篇論文：Splat-Nav

2024 年 3 月 5 日：

新增了 1 篇論文：3DGStream
程式碼發布
新增了新檢視器

2024 年 3 月 2 日：

新增了 1 篇論文：動畫和紋理的 3D 高斯模型
新部分：同時教授 3DGS 的課程。

2024 年 2 月 28 日：

廣大高斯

2024 年 2 月 27 日：

新增了 2 篇論文：Spec-Gaussian 和 GEA
SC-GS 程式碼發布

2024 年 2 月 24 日：

新增了 2 篇論文：識別不必要的高斯和 Gaussian Pro

2024 年 2 月 23 日：

更正了 EndoGS 的作者並更新了摘要：利用高斯濺射進行可變形內視鏡組織重建

2024 年 2 月 21 日：

新增了一篇論文：重塑 SLAM：一項調查

2024 年 2 月 20 日：

GaussianObject程式碼發布
新增了一篇論文：GaussianHair

2024 年 2 月 19 日：

新增了部落格文章：NeRFs 與 3DGS。

2024 年 2 月 16 日：

新增了 2 篇論文：IM-3D 和 GES
GaMeS程式碼發布

2024 年 2 月 14 日：

新增了檢視器：VulkanSplatting - C++ 和 Vulkan Compute 中的跨平台高效能 3DGS 渲染器

2024 年 2 月 13 日：

程式碼發布：（2024 年 1 月 16 日）使用 4D 高斯潑濺進行即時真實感動態場景表示和渲染
新增了 3 篇論文：3DGala、ImplicitDeepFake 和 3D Gaussians as a New Vision Era。

2024 年 2 月 9 日：

新增了 1 篇論文：HeadStudio

2024 年 2 月 8 日：

新增了 3 篇論文：Rig3DGS、Mesh-based GS 和 LGM 2024 年 2 月 6 日：
新增了 2 篇論文：SGS-SLAM 和 4D Gaussian Splatting

2024 年 2 月 5 日：

將 SWAGS 移至動力學和變形部分
新增了 2 篇論文：GaussianObject 和 GaMeSh
GS++ 更名為最佳投影

2024 年 2 月 2 日：

新增了 6 篇論文：VR-GS、Segment Anything、Gaussian Splashing、GS++、360-GS 和 StopThePop
TRIPS 代碼發布

2024 年 1 月 30 日：

程式碼變更：GaussianAvatars 程式碼更改為私有

2024 年 1 月 29 日：

新增了 2 篇論文：LIV-GaussMap 和 TIP-Editor

2024 年 1 月 26 日：

刪除撤回論文：用於高保真人體運動合成的可動畫 3D 高斯
新增了 3 篇論文：EndoGaussians、PSAvatar 和 GauU-Scene

2024 年 1 月 25 日：

新增了檢視器：Splatapult - C++ 和 OpenGL 中的 3d 高斯噴射渲染器，可與 OpenXR 配合使用以實現線上 VR

2024 年 1 月 24 日：

新增實用程式：SideFX Houdini 的 GSOP（高斯 Splat 運算子）
程式碼發布：GaussianAvatars

2024 年 1 月 23 日：

新增了 3 篇論文：Amortized Gen3D、Deformable Endooscopy Tissues、Fastdynamic 3D Object Generation
程式碼發布：動畫化身、壓縮 3D 高斯、GaussianAvatar

2024 年 1 月 13 日：

新增了 4 篇論文：CoSSegGaussians、TRIPS、Gaussian Shadow Casting for Neural Characters 和 DISTWAR

2024 年 1 月 9 日：

新增 1 篇論文：A Survey on 3D Gaussian Splatting（第一次調查）

2024 年 1 月 8 日：

新增了 4 篇論文：SWAGS（添加了 2023 年的論文，我之前忘記添加了）、第一篇評論論文、壓縮的 3DGS 以及表徵衛星幾何的應用論文。

2024 年 1 月 7 日：

1 開源實作：taichi-splatting - 工作最初源自於 Taichi 3D Gaussian Splatting，並進行了重大的重新組織和更改。

2024 年 1 月 5 日：

新增了 3 篇論文：FMGS、PEGASUS 和 Repaint123。

2024 年 1 月 2 日：

新增了 1 篇論文：街頭高斯。

2024 年 1 月 2 日：

更新了去模糊高斯論文連結。
SAGA程式碼發布。
新增了 2023 年的 2 篇論文：Text2Immersion 和 2D-Guided 3DG Segmentation。
gsplat lib 的數學補充。
在類別中新增年份。
GSM 代碼發布。

2023 年 12 月 29 日：

新增了 1 篇論文（顯然之前漏掉了一篇）：Gaussian-Head-Avatar。
新增了部落格文章頭像。

2023 年 12 月 29 日：

新增了 3 篇論文：DreamGaussian4D、4DGen 和 Spacetime Gaussian。

2023 年 12 月 27 日：

新增了 3 篇論文：LangSplat、Deformable 3DGS 和 Human101。
新增了部落格文章：3DGS 的綜合回顧。

2023 年 12 月 25 日：

發布了單目/多視圖動態場景代碼的高效 3D 高斯表示。
GPS-高斯代碼發布。

2023 年 12 月 24 日：

新增了 2 篇論文：自組織高斯網格和高斯分裂。
新增了用於增強高斯渲染以建模更複雜場景的儲存庫。

2023 年 12 月 21 日：

新增了 3 篇論文：Splatter Image、pixelSplat 和align your gaussians。
高斯分組代碼發布。

2023 年 12 月 19 日：

新增了 2 篇論文：GAvatar 和 GauFRe。

2023 年 12 月 18 日：

新增了實用程式：SpectacularAI - 不同 3DGS 約定的轉換腳本。
SuGaR 程式碼發布。

2023 年 12 月 16 日：

新增了 WebGL 檢視器 3：Gauzilla。

2023 年 12 月 15 日：

新增了 4 篇論文：DrivingGaussian、iComMa、Triplane 和 3DGS-Avatar。
Relightable 高斯代碼發布。

2023 年 12 月 13 日：

新增了 5 篇論文：Gaussian-SLAM、CoGS、ASH、CF-GS 和 Photo-SLAM。

2023 年 12 月 11 日：

新增了 2 篇論文：Gaussian Splatting SLAM 和 3D Generation 的去噪分數。
ScaffoldGS 程式碼已發布。

2023 年 12 月 8 日：

新增了 2 篇論文：EAGLES 和 MonoGaussianAvatar。

2023 年 12 月 7 日：

LucidDreamer 程式碼已發布。
新增了 9 篇論文：GauHuman、HeadGaS、HiFi4G、Gaussian-Flow、Feature-3DGS、Gaussian-Avatar、FlashAvatar、Relightable 和 Deblurring Gaussians。

2023 年 12 月 5 日：

新增了 9 篇論文：NeuSG、GaussianHead、GaussianAvatars、GPS-Gaussian、用於單眼非剛性物件重建的神經參數高斯、SplaTAM、MANUS、Segment Any 和語言嵌入 3D 高斯。

2023 年 12 月 4 日：

新增了 8 篇論文：Gaussian Grouping、MD Splatting、DynMF、Scaffold-GS、SparseGS、FSGS、Control4D 和 SC-GS。

2023 年 12 月 1 日：

新增了 4 篇論文：Compact3D、GaussianShader、Periodic Vibration Gaussian 和 Gaussian Shell Maps for Efficient 3D Human Generation。
為每個類別建立了目錄並新增了換行符。

2023 年 11 月 30 日：

增加了虛幻遊戲引擎實現。
新增了 5 篇論文：LightGaussian、FisherRF、HUGS、HumanGaussian、CG3D 和 Multi Scale 3DGS。

2023 年 11 月 29 日：

新增了兩篇論文：Point and Move 和 IR-GS。

2023 年 11 月 28 日：

新增了五篇論文：GaussinEditor、Relightable Gaussians、GART、Mip-Splatting、HumanGaussian。

2023 年 11 月 27 日：

新增了兩篇論文：Gaussian Editing 和 Compact 3D Gaussians。

2023 年 11 月 25 日：

新增了可動畫高斯專案（論文尚未發布）。

2023 年 11 月 22 日：

新增了 3 篇新的 GS 論文：Animatable、Depth-Regularized 和單目/多視圖 3DGS。
添加了一些經典論文。
另一篇 GS 論文，也稱為 LucidDreamer。

2023 年 11 月 21 日：

新增了 3 篇新的 GS 論文：GaussianDiffusion、LucidDreamer、PhysGaussian。
新增 2 篇 GS 論文：SuGaR、PhysGaussian。

2023 年 11 月 21 日：

添加論文GS-SLAM

2023 年 11 月 17 日：

將 PlayCanvas 實作新增至遊戲引擎部分。

2023 年 11 月 16 日：

發布可變形 3D 高斯代碼。
添加了可駕駛的 3D 高斯頭像紙。

2023 年 11 月 8 日：

關於 3DGS 實作和 unsive/rsal 格式討論的一些註解。

2023 年 11 月 4 日：

增加了 2D 高斯潑濺。
新增了非常詳細的（技術）部落格文章，解釋 3D 高斯潑濺。

2023 年 10 月 28 日：

新增了實用程式部分。
新增了 3DGS 轉換器，用於在 Cloud Compare to Utilities 中編輯 3DGS .ply 檔案。
新增了 Kapture（用於捆綁器到 colmap 模型轉換）和 Kapture 映像裁剪器腳本，以及實用程式的轉換說明。

2023 年 10 月 23 日：

新增了 python WebGL 檢視器 2。
新增了高斯潑濺（和 Unity 檢視器）視訊部落格的介紹。

2023 年 10 月 21 日：

新增了 python OpenGL 檢視器。
新增了 typescript WebGPU 檢視器。

2023 年 10 月 20 日：

使摘要可讀（刪除連字符）。
新增了 Windows 教學。
其他小的文字修復。
新增了 Jupyter 筆記本檢視器。

2023 年 10 月 19 日：

新增了用於即時真實感動態場景表示的 Github 頁面連結。
重新排列標題。
添加了其他非官方實作。
將 Nerfstudio gsplat 和 fast: C++/CUDA 移至非官方實作。
新增了 Nerfstudio、Blender、WebRTC、iOS 和 Metal 檢視器。

2023 年 10 月 17 日：

GaussianDreamer 程式碼發布。
新增了即時真實感動態場景表示。

2023 年 10 月 16 日：

添加了可變形 3D 高斯紙。
動態 3D 高斯代碼發布。 2023 年 10 月 15 日：包含前 6 篇論文的初始清單。

介紹 3D 高斯分佈的開創性論文：

用於即時輻射場渲染的 3D 高斯噴射

作者：Bernhard Kerbl、Georgios Kopanas、Thomas Leimkühler、George Drettakis

抽象的

輻射場方法最近徹底改變了用多張照片或影片捕捉的場景的新穎視圖合成。然而，要實現高視覺品質仍然需要訓練和渲染成本高昂的神經網絡，而最近更快的方法不可避免地會犧牲速度來換取品質。對於無界且完整的場景（而不是孤立的物件）和1080p解析度渲染，目前沒有方法可以實現即時顯示速率。我們引入了三個關鍵要素，使我們能夠在保持有競爭力的訓練時間的同時實現最先進的視覺質量，並且重要的是允許在1080p 分辨率下進行高質量實時（≥ 30 fps）新視圖合成。首先，從相機校準期間產生的稀疏點開始，我們用 3D 高斯表示場景，保留連續體積輻射場的所需屬性以進行場景優化，同時避免在空白空間中進行不必要的計算；其次，我們對 3D 高斯進行交錯優化/密度控制，特別是優化各向異性協方差以實現場景的準確表示；第三，我們開發了一種快速可見性感知渲染演算法，該演算法支援各向異性潑濺，既加速訓練又允許即時渲染。我們在幾個已建立的資料集上展示了最先進的視覺品質和即時渲染。

3D 物體檢測

2024年

1. 3DGS-DET：透過邊界引導和框聚焦採樣增強 3D 高斯潑濺，以實現 3D 物體檢測

作者：曹陽、吉元良、徐丹

抽象的

神經輻射場 (NeRF) 廣泛用於新穎視圖合成，並已適用於 3D 物件偵測 (3DOD)，為透過視圖合成表示進行 3D 物件偵測提供了一種有前途的方法。然而，NeRF 面臨著固有的限制：(i) 由於其隱式性質，它對 3DOD 的表示能力有限；(ii) 渲染速度慢。最近，3D 高斯分佈 (3DGS) 作為一種顯式 3D 表示形式出現，它透過更快的渲染功能解決了這些限制。受這些優點的啟發，本文首次將 3DGS 引入 3DOD，確定了兩個主要挑戰：（i）高斯斑點的空間分佈不明確 - 3DGS 主要依賴於 2D 像素級監督，導致高斯斑點的 3D 空間分佈不清晰物體和背景的區分度差，阻礙了3DOD； (ii) 過多的背景斑點－2D 影像通常包含大量背景像素，導緻密集重建的 3DGS 中含有許多代表背景的雜訊高斯斑點，對偵測產生負面影響。為了應對挑戰(i)，我們利用3DGS 重建源自2D 影像的事實，並透過結合2D 邊界引導提出了一種優雅而有效的解決方案，以顯著增強高斯斑點的空間分佈，從而使物體和物體之間的區分更加清晰。為了解決挑戰(ii)，我們提出了一種以框為中心的採樣策略，使用2D 框生成3D 空間中的物件機率分佈，從而允許在3D 中進行有效的機率採樣以保留更多物件斑點並減少嘈雜的背景斑點。受益於所提出的邊界引導和框聚焦採樣，我們的最終方法3DGS-DET 比我們的基本管道版本實現了顯著改進（[email protected] 上+5.6，[email protected] 上+3.7），而無需引入任何額外的可學習參數。此外，3DGS-DET 顯著優於最先進的基於NeRF 的方法NeRF-Det，在ScanNet 資料集的[email protected] 上實現了+6.6 的改進，在[email protected] 上實現了+8.1 的改進，並且在ScanNet 資料集上實現了令人印象深刻的+31.5 的改進。程式碼和模型可公開取得：https://github.com/yangcaoai/3DGS-DET。

？紙|代碼（還沒有）

自動駕駛：

儘管最新的高保真人類重建技術取得了進步，但對密集捕獲的圖像或耗時的 /演算法優化的要求顯著阻礙了它們在更廣泛的情況下的應用。為了解決這些問題，我們介紹了人類平層，以預測任何人類從單一輸入影像中以可概括的方式從任何人中的3D高斯裂片。特別是，HumanSplat包括一個2D多視圖擴散模型和具有人類結構先驗的潛在重建變壓器，這些變壓器熟練地將幾何學先驗和語義特徵整合在統一的框架中。結合人類語義資訊的層次損失旨在實現高保真紋理建模，並更好地限制估計的多個視圖。對標準基準和野外影像進行的全面實驗表明，HumanSplat超過了實現影像逼真的新型視圖合成的現有最新方法。專案頁面：https：//humansplat.github.io/。

？紙|專案頁面

經典作品：

1。

作者：James F. Blinn

評論：：第一張紙渲染3D高斯人。

抽象的

三維表面的數學描述通常屬於兩個分類之一：參數和隱式。隱式表面定義為滿足某些方程式f（x，y，z）= 0的所有點。像素座標被取代為X和Y，並為z求解方程式。用於繪製此類物件的演算法主要是針對一階和二階多項式函數（稱為代數表面的子類別）開發的。本文提出了一種適用於其他功能形式的新演算法，特別是多個高斯密度分佈的總和。該演算法的創建是為了建模分子結構的電子密度圖，但可以用於其他藝術有趣的形狀。

？紙

2。

作者：Leonid Keselman和Martial Hebert

評論：：第一篇論文進行3D高斯的渲染優化。

抽象的

可區分的渲染器在物件的3D表示與該物件的圖像之間提供了直接的數學連結。在這項工作中，我們為緊湊的，可解釋的表示形式開發了一個近似可區分的渲染器，我們稱之為模糊的metaballs。我們的大約渲染器著重於透過深度圖和輪廓渲染形狀。它犧牲了為實用程式提供忠誠，產生快速運行時間和可用於解決視力任務的高品質梯度資訊。與基於網格的可區分渲染器相比，我們的方法的正向通過速度更快5倍，向後傳球速度快30倍。我們方法產生的深度圖和輪廓影像在任何地方都平滑且定義。在對可區分渲染器進行姿勢估計的評估時，我們表明我們的方法是唯一一種與經典技術相媲美的方法。在Silhouette的形狀上，我們的方法僅使用梯度下降和每像素損失，而沒有任何替代損失或正則化。這些重建即使在具有分割工件的自然視訊序列上也很好地工作。

？紙|項目頁面|代碼| ？簡短的演示

3。

作者：JanU.Müller，Michael Weinmann，Reinhard Klein

評論：透過基礎3D表示形式建構2D螢幕空間高斯。

抽象的

我們提出了一個有效且GPU加速的採樣框架，該框架可以基於表面裂紋，實現無偏梯度的近似值，以實現可區分的點雲渲染。我們的框架將點對渲染圖像作為機率分佈的貢獻進行了建模。我們在此模型中為渲染函數得出無偏的近似梯度。為了有效評估所提出的樣品估計，我們引入了基於樹的資料結構，該資料結構採用多極方法在幾乎線性時間內繪製樣品。我們的梯度估計器使我們能夠避免以前的方法需要正規化，從而從圖像中恢復了更忠實的形狀。此外，我們透過完善從即時大滿貫系統獲得的相機姿勢和點雲來驗證這些改進適用於現實世界應用程式。最後，在神經渲染設定中採用我們的框架優化了點雲和網路參數，突顯了此框架增強資料驅動方法的能力。

？紙本代碼

4。

作者：PETR MAN

評論：各向異性高斯人的裂開。基本上是3DGS的非差異實作。

抽象的

本文提出了一種產生和即時渲染的方法。 Perlin噪音函數產生雲的三維圖。我們還提出了一種兩次渲染演算法，該演算法是基於物理近似的。在第一個預處理階段中，它計算多個正向散射。在第二階段，一階在運行時處於各向異性散射。產生的地圖儲存為體素，不適合即時渲染。我們引入了更合適的雲內表示，該表示近似原始地圖，並包含更少的資訊。然後，雲由一組具有中心位置，半徑和密度值等參數的Metaballs（球形）表示。本文的主要貢獻是提出一種方法，該方法將原始雲圖將其轉換為內部表示。此方法使用徑向基底函數（RBF）神經網路。

？紙

壓縮：

3D Gaussian Splatting has recently emerged as a highly promising technique for modeling of static 3D scenes. In contrast to Neural Radiance Fields, it utilizes efficient rasterization allowing for very fast rendering at high-quality. However, the storage size is significantly higher, which hinders practical deployment, eg on resource constrained devices. In this paper, we introduce a compact scene representation organizing the parameters of 3D Gaussian Splatting (3DGS) into a 2D grid with local homogeneity, ensuring a drastic reduction in storage requirements without compromising visual quality during rendering. Central to our idea is the explicit exploitation of perceptual redundancies present in natural scenes. In essence, the inherent nature of a scene allows for numerous permutations of Gaussian parameters to equivalently represent it. To this end, we propose a novel highly parallel algorithm that regularly arranges the high-dimensional Gaussian parameters into a 2D grid while preserving their neighborhood structure. During training, we further enforce local smoothness between the sorted parameters in the grid. The uncompressed Gaussians use the same structure as 3DGS, ensuring a seamless integration with established renderers. Our method achieves a reduction factor of 17x to 42x in size for complex scenes with no increase in training time, marking a substantial leap forward in the domain of 3D scene distribution and consumption.

？紙|項目頁面|程式碼

擴散：

2024 年：

1. AGG: Amortized Generative 3D Gaussians for Single Image to 3D

Authors : Dejia Xu, Ye Yuan, Morteza Mardani, Sifei Liu, Jiaming Song, Zhangyang Wang, Arash Vahdat

抽象的

Given the growing need for automatic 3D content creation pipelines, various 3D representations have been studied to generate 3D objects from a single image. Due to its superior rendering efficiency, 3D Gaussian splatting-based models have recently excelled in both 3D reconstruction and generation. 3D Gaussian splatting approaches for image to 3D generation are often optimization-based, requiring many computationally expensive score-distillation steps. To overcome these challenges, we introduce an Amortized Generative 3D Gaussian framework (AGG) that instantly produces 3D Gaussians from a single image, eliminating the need for per-instance optimization. Utilizing an intermediate hybrid representation, AGG decomposes the generation of 3D Gaussian locations and other appearance attributes for joint optimization. Moreover, we propose a cascaded pipeline that first generates a coarse representation of the 3D data and later upsamples it with a 3D Gaussian super-resolution module. Our method is evaluated against existing optimization-based 3D Gaussian frameworks and sampling-based pipelines utilizing other 3D representations, where AGG showcases competitive generation abilities both qualitatively and quantitatively while being several orders of magnitude faster.

？紙| Project Page| ？簡短的演示

2. Fast Dynamic 3D Object Generation from a Single-view Video

Authors : Zijie Pan, Zeyu Yang, Xiatian Zhu, Li Zhang

抽象的

Generating dynamic three-dimensional (3D) object from a single-view video is challenging due to the lack of 4D labeled data. Existing methods extend text-to-3D pipelines by transferring off-the-shelf image generation models such as score distillation sampling, but they are slow and expensive to scale (eg, 150 minutes per object) due to the need for back-propagating the information-limited supervision signals through a large pretrained model. To address this limitation, we propose an efficient video-to-4D object generation framework called Efficient4D. It generates high-quality spacetime-consistent images under different camera views, and then uses them as labeled data to directly train a novel 4D Gaussian splatting model with explicit point cloud geometry, enabling real-time rendering under continuous camera trajectories. Extensive experiments on synthetic and real videos show that Efficient4D offers a remarkable 10-fold increase in speed when compared to prior art alternatives while preserving the same level of innovative view synthesis quality. For example, Efficient4D takes only 14 minutes to model a dynamic object.

？紙|項目頁面|代碼| ？簡短的演示

3. GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

Authors : Chen Yang, Sikuang Li, Jiemin Fang, Ruofan Liang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian

抽象的

Reconstructing and rendering 3D objects from highly sparse views is of critical importance for promoting applications of 3D vision techniques and improving user experience. However, images from sparse views only contain very limited 3D information, leading to two significant challenges: 1) Difficulty in building multi-view consistency as images for matching are too few; 2）由於視圖覆蓋不足，部分省略或高度壓縮物件資訊。 To tackle these challenges, we propose GaussianObject, a framework to represent and render the 3D object with Gaussian splatting, that achieves high rendering quality with only 4 input images. We first introduce techniques of visual hull and floater elimination which explicitly inject structure priors into the initial optimization process for helping build multi-view consistency, yielding a coarse 3D Gaussian representation.然後，我們基於擴散模型建立高斯修復模型來補充遺漏的物件訊息，其中高斯被進一步細化。我們設計了一種自生成策略來獲取圖像對來訓練修復模型。 Our GaussianObject is evaluated on several challenging datasets, including MipNeRF360, OmniObject3D, and OpenIllumination, achieving strong reconstruction results from only 4 views and significantly outperforming previous state-of-the-art methods.

？紙|項目頁面|代碼| ？簡短的演示

Authors : Heng Yu, Chaoyang Wang, Peiye Zhuang, Willi Menapace, Aliaksandr Siarohin, Junli Cao, Laszlo A Jeni, Sergey Tulyakov, Hsin-Ying Lee

Authors : Junwu Zhang, Zhenyu Tang, Yatian Pang, Xinhua Cheng, Peng Jin, Yida Wei, Munan Ning, Li Yuan

抽象的

Recent one image to 3D generation methods commonly adopt Score Distillation Sampling (SDS). Despite the impressive results, there are multiple deficiencies including multi-view inconsistency, over-saturated and over-smoothed textures, as well as the slow generation speed. To address these deficiencies, we present Repaint123 to alleviate multi-view bias as well as texture degradation and speed up the generation process. The core idea is to combine the powerful image generation capability of the 2D diffusion model and the texture alignment ability of the repainting strategy for generating high-quality multi-view images with consistency. We further propose visibility-aware adaptive repainting strength for overlap regions to enhance the generated image quality in the repainting process. The generated high-quality and multi-view consistent images enable the use of simple Mean Square Error (MSE) loss for fast 3D content generation. We conduct extensive experiments and show that our method has a superior ability to generate high-quality 3D content with multi-view consistency and fine textures in 2 minutes from scratch.

？紙|項目頁面|代碼（還沒有）

Dynamics and Deformation:

Recently, 3D Gaussian, as an explicit 3D representation method, has demonstrated strong competitiveness over NeRF (Neural Radiance Fields) in terms of expressing complex scenes and training duration. These advantages signal a wide range of applications for 3D Gaussians in 3D understanding and editing. Meanwhile, the segmentation of 3D Gaussians is still in its infancy. The existing segmentation methods are not only cumbersome but also incapable of segmenting multiple objects simultaneously in a short amount of time. In response, this paper introduces a 3D Gaussian segmentation method implemented with 2D segmentation as supervision. This approach uses input 2D segmentation maps to guide the learning of the added 3D Gaussian semantic information, while nearest neighbor clustering and statistical filtering refine the segmentation results. Experiments show that our concise method can achieve comparable performances on mIOU and mAcc for multi-object segmentation as previous single-object segmentation methods.

？紙

Language Embedding:

3D Gaussian Splatting (3DGS) has recently revolutionized radiance field reconstruction, achieving high quality novel view synthesis and fast rendering speed without baking. However, 3DGS fails to accurately represent surfaces due to the multi-view inconsistent nature of 3D Gaussians. We present 2D Gaussian Splatting (2DGS), a novel approach to model and reconstruct geometrically accurate radiance fields from multi-view images. Our key idea is to collapse the 3D volume into a set of 2D oriented planar Gaussian disks. Unlike 3D Gaussians, 2D Gaussians provide view-consistent geometry while modeling surfaces intrinsically. To accurately recover thin surfaces and achieve stable optimization, we introduce a perspective-accurate 2D splatting process utilizing ray-splat intersection and rasterization. Additionally, we incorporate depth distortion and normal consistency terms to further enhance the quality of the reconstructions. We demonstrate that our differentiable renderer allows for noise-free and detailed geometry reconstruction while maintaining competitive appearance quality, fast training speed, and real-time rendering.

1. [CVPR '24] PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics

Authors : Tianyi Xie, Zeshun Zong, Yuxin Qiu, Xuan Li, Yutao Feng, Yin Yang, Chenfanfu Jiang

抽象的

We introduce PhysGaussian, a new method that seamlessly integrates physically grounded Newtonian dynamics within 3D Gaussians to achieve high-quality novel motion synthesis. Employing a custom Material Point Method (MPM), our approach enriches 3D Gaussian kernels with physically meaningful kinematic deformation and mechanical stress attributes, all evolved in line with continuum mechanics principles. A defining characteristic of our method is the seamless integration between physical simulation and visual rendering: both components utilize the same 3D Gaussian kernels as their discrete representations. This negates the necessity for triangle/tetrahedron meshing, marching cubes, "cage meshes," or any other geometry embedding, highlighting the principle of "what you see is what you simulate (WS2)." Our method demonstrates exceptional versatility across a wide variety of materials--including elastic entities, metals, non-Newtonian fluids, and granular materials--showcasing its strong capabilities in creating diverse visual content with novel viewpoints and movements.

？紙|項目頁面|代碼| ？簡短的演示

2. [CVPR '24] SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

Authors : Antoine Guédon, Vincent Lepetit

抽象的

We propose a method to allow precise and extremely fast mesh extraction from 3D Gaussian Splatting. Gaussian Splatting 最近變得非常流行，因為它可以產生逼真的渲染，同時訓練速度比 NeRF 快得多。 It is however challenging to extract a mesh from the millions of tiny 3D gaussians as these gaussians tend to be unorganized after optimization and no method has been proposed so far. Our first key contribution is a regularization term that encourages the gaussians to align well with the surface of the scene.然後，我們介紹一種方法，利用這種對齊方式對場景真實表面上的樣本點進行對齊，並使用泊松重建從高斯中提取網格，與通常應用於從神經 SDF 中提取網格。 Finally, we introduce an optional refinement strategy that binds gaussians to the surface of the mesh, and jointly optimizes these Gaussians and the mesh through Gaussian splatting rendering. This enables easy editing, sculpting, rigging, animating, compositing and relighting of the Gaussians using traditional softwares by manipulating the mesh instead of the gaussians themselves. Retrieving such an editable mesh for realistic rendering is done within minutes with our method, compared to hours with the state-of-the-art methods on neural SDFs, while providing a better rendering quality.

？紙|項目頁面|代碼| ？簡短的演示

3. NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting Guidance

Authors : Hanlin Chen, Chen Li, Gim Hee Lee

抽象的

Existing neural implicit surface reconstruction methods have achieved impressive performance in multi-view 3D reconstruction by leveraging explicit geometry priors such as depth maps or point clouds as regularization. However, the reconstruction results still lack fine details because of the over-smoothed depth map or sparse point cloud. In this work, we propose a neural implicit surface reconstruction pipeline with guidance from 3D Gaussian Splatting to recover highly detailed surfaces. The advantage of 3D Gaussian Splatting is that it can generate dense point clouds with detailed structure. Nonetheless, a naive adoption of 3D Gaussian Splatting can fail since the generated points are the centers of 3D Gaussians that do not necessarily lie on the surface. We thus introduce a scale regularizer to pull the centers close to the surface by enforcing the 3D Gaussians to be extremely thin. Moreover, we propose to refine the point cloud from 3D Gaussians Splatting with the normal priors from the surface predicted by neural implicit models instead of using a fixed set of points as guidance. Consequently, the quality of surface reconstruction improves from the guidance of the more accurate 3D Gaussian splatting. By jointly optimizing the 3D Gaussian Splatting and the neural implicit model, our approach benefits from both representations and generates complete surfaces with intricate details. Experiments on Tanks and Temples verify the effectiveness of our proposed method.

？紙

雜項：

In this paper, we address the limitations of Adaptive Density Control (ADC) in 3D Gaussian Splatting (3DGS), a scene representation method achieving high-quality, photorealistic results for novel view synthesis. ADC has been introduced for automatic 3D point primitive management, controlling densification and pruning, however, with certain limitations in the densification logic. Our main contribution is a more principled, pixel-error driven formulation for density control in 3DGS, leveraging an auxiliary, per-pixel error function as the criterion for densification. We further introduce a mechanism to control the total number of primitives generated per scene and correct a bias in the current opacity handling strategy of ADC during cloning operations. Our approach leads to consistent quality improvements across a variety of benchmark scenes, without sacrificing the method's efficiency.

？紙

2023 年：

1. [CVPRW '24] Depth-Regularized Optimization for 3D Gaussian Splatting in Few-Shot Images

Authors : Jaeyoung Chung, Jeongtaek Oh, Kyoung Mu Lee

抽象的

In this paper, we present a method to optimize Gaussian splatting with a limited number of images while avoiding overfitting. Representing a 3D scene by combining numerous Gaussian splats has yielded outstanding visual quality. However, it tends to overfit the training views when only a small number of images are available. To address this issue, we introduce a dense depth map as a geometry guide to mitigate overfitting. We obtained the depth map using a pre-trained monocular depth estimation model and aligning the scale and offset using sparse COLMAP feature points. The adjusted depth aids in the color-based optimization of 3D Gaussian splatting, mitigating floating artifacts, and ensuring adherence to geometric constraints. We verify the proposed method on the NeRF-LLFF dataset with varying numbers of few images. Our approach demonstrates robust geometry compared to the original method that relies solely on images.

？紙|項目頁面|程式碼

2. EAGLES: Efficient Accelerated 3D Gaussians with Lightweight EncodingS

Authors : Sharath Girish, Kamal Gupta, Abhinav Shrivastava

抽象的

Recently, 3D Gaussian splatting (3D-GS) has gained popularity in novel-view scene synthesis. It addresses the challenges of lengthy training times and slow rendering speeds associated with Neural Radiance Fields (NeRFs). Through rapid, differentiable rasterization of 3D Gaussians, 3D-GS achieves real-time rendering and accelerated training. They, however, demand substantial memory resources for both training and storage, as they require millions of Gaussians in their point cloud representation for each scene. We present a technique utilizing quantized embeddings to significantly reduce memory storage requirements and a coarse-to-fine training strategy for a faster and more stable optimization of the Gaussian point clouds. Our approach results in scene representations with fewer Gaussians and quantized representations, leading to faster training times and rendering speeds for real-time rendering of high resolution scenes. We reduce memory by more than an order of magnitude all while maintaining the reconstruction quality. We validate the effectiveness of our approach on a variety of datasets and scenes preserving the visual quality while consuming 10-20x less memory and faster training/inference speed.

？紙|項目頁面|程式碼

3. [CVPR '24] COLMAP-Free 3D Gaussian Splatting

Authors : Yang Fu, Sifei Liu, Amey Kulkarni, Jan Kautz, Alexei A. Efros, Xiaolong Wang

抽象的

While neural rendering has led to impressive advances in scene reconstruction and novel view synthesis, it relies heavily on accurately pre-computed camera poses. To relax this constraint, multiple efforts have been made to train Neural Radiance Fields (NeRFs) without pre-processed camera poses. However, the implicit representations of NeRFs provide extra challenges to optimize the 3D structure and camera poses at the same time. On the other hand, the recently proposed 3D Gaussian Splatting provides new opportunities given its explicit point cloud representations. This paper leverages both the explicit geometric representation and the continuity of the input video stream to perform novel view synthesis without any SfM preprocessing. We process the input frames in a sequential manner and progressively grow the 3D Gaussians set by taking one input frame at a time, without the need to pre-compute the camera poses. Our method significantly improves over previous approaches in view synthesis and camera pose estimation under large motion changes.

？紙|項目頁面| Code (not yet) | ？簡短的演示

4. iComMa: Inverting 3D Gaussians Splatting for Camera Pose Estimation via Comparing and Matching

Authors : Yuan Sun, Xuan Wang, Yunfan Zhang, Jie Zhang, Caigui Jiang, Yu Guo, Fei Wang

抽象的

We present a method named iComMa to address the 6D pose estimation problem in computer vision. The conventional pose estimation methods typically rely on the target's CAD model or necessitate specific network training tailored to particular object classes. Some existing methods address mesh-free 6D pose estimation by employing the inversion of a Neural Radiance Field (NeRF), aiming to overcome the aforementioned constraints. However, it still suffers from adverse initializations. By contrast, we model the pose estimation as the problem of inverting the 3D Gaussian Splatting (3DGS) with both the comparing and matching loss. In detail, a render-and-compare strategy is adopted for the precise estimation of poses. Additionally, a matching module is designed to enhance the model's robustness against adverse initializations by minimizing the distances between 2D keypoints. This framework systematically incorporates the distinctive characteristics and inherent rationale of render-and-compare and matching-based approaches. This comprehensive consideration equips the framework to effectively address a broader range of intricate and challenging scenarios, including instances with substantial angular deviations, all while maintaining a high level of prediction accuracy. Experimental results demonstrate the superior precision and robustness of our proposed jointly optimized framework when evaluated on synthetic and complex real-world data in challenging scenarios.

？紙|程式碼

渲染：

抽象的

Image-based 3D reconstruction is a challenging task that involves inferring the 3D shape of an object or scene from a set of input images. Learning-based methods have gained attention for their ability to directly estimate 3D shapes. This review paper focuses on state-of-the-art techniques for 3D reconstruction, including the generation of novel, unseen views. An overview of recent developments in the Gaussian Splatting method is provided, covering input types, model structures, output representations, and training strategies. Unresolved challenges and future directions are also discussed. Given the rapid progress in this domain and the numerous opportunities for enhancing 3D reconstruction methods, a comprehensive examination of algorithms appears essential. Consequently, this study offers a thorough overview of the latest advancements in Gaussian Splatting.

？紙

滿貫：

The integration of neural rendering and the SLAM system recently showed promising results in joint localization and photorealistic view reconstruction. However, existing methods, fully relying on implicit representations, are so resource-hungry that they cannot run on portable devices, which deviates from the original intention of SLAM. In this paper, we present Photo-SLAM, a novel SLAM framework with a hyper primitives map. Specifically, we simultaneously exploit explicit geometric features for localization and learn implicit photometric features to represent the texture information of the observed environment. In addition to actively densifying hyper primitives based on geometric features, we further introduce a Gaussian-Pyramid-based training method to progressively learn multi-level features, enhancing photorealistic mapping performance. The extensive experiments with monocular, stereo, and RGB-D datasets prove that our proposed system Photo-SLAM significantly outperforms current state-of-the-art SLAM systems for online photorealistic mapping, eg, PSNR is 30% higher and rendering speed is hundreds of times faster in the Replica dataset. Moreover, the Photo-SLAM can run at real-time speed using an embedded platform such as Jetson AGX Orin, showing the potential of robotics applications.

？紙|項目頁面|程式碼

疏：

抽象的

Novel View Synthesis (NVS) for street scenes play a critical role in the autonomous driving simulation. The current mainstream technique to achieve it is neural rendering, such as Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). Although thrilling progress has been made, when handling street scenes, current methods struggle to maintain rendering quality at the viewpoint that deviates significantly from the training viewpoints. This issue stems from the sparse training views captured by a fixed camera on a moving vehicle. To tackle this problem, we propose a novel approach that enhances the capacity of 3DGS by leveraging prior from a Diffusion Model along with complementary multi-modal data. Specifically, we first fine-tune a Diffusion Model by adding images from adjacent frames as condition, meanwhile exploiting depth data from LiDAR point clouds to supply additional spatial information. Then we apply the Diffusion Model to regularize the 3DGS at unseen views during training. Experimental results validate the effectiveness of our method compared with current state-of-the-art models, and demonstrate its advance in rendering images from broader views.

？紙

7. BEINGS: Bayesian Embodied Image-goal Navigation with Gaussian Splatting

Authors : Wugang Meng, Tianfu Wu, Huan Yin, Fumin Zhang

抽象的

影像目標導航使機器人能夠使用視覺提示進行引導，到達捕捉目標影像的位置。然而，目前的方法要么嚴重依賴數據和計算成本昂貴的基於學習的方法，要么由於探索策略不足而在複雜環境中缺乏效率。 To address these limitations, we propose

展開

awesome 3D gaussian splatting

很棒的 3D 高斯濺鍍資源

目錄

介紹 3D 高斯分佈的開創性論文：

用於即時輻射場渲染的 3D 高斯噴射

3D 物體檢測

2024年

1. 3DGS-DET：透過邊界引導和框聚焦採樣增強 3D 高斯潑濺，以實現 3D 物體檢測

自動駕駛：

2024 年：

1. 用於動態城市場景建模的街道高斯

2. TCLC-GS：用於周圍自動駕駛場景的緊密耦合雷射雷達相機高斯潑濺

3. OmniRe：全方位城市場景重建

2023 年：

1. [CVPR '24] DrivingGaussian：用於周圍動態自動駕駛場景的複合高斯潑濺

2. [CVPR '24] HUGS：透過高斯潑濺理解整體城市 3D 場景

頭像：

2024 年：

1. GaussianBody：透過 3d 高斯潑濺重建穿著衣服的人體

2. PSAvatar：基於點的可變形形狀模型，用於透過 3D 高斯潑濺創建即時頭部頭像

3. Rig3DGS：從休閒單眼影片創建可控制肖像

4. HeadStudio：使用 3D 高斯潑濺將文字傳送到可動畫化的頭部頭像

5. ImplicitDeepfake：使用 NeRF 和高斯潑濺透過隱式 Deepfake 生成進行合理的換臉

6. GaussianHair：使用光感知高斯進行頭髮建模和渲染

7. GVA：從單眼視訊重建生動的 3D 高斯頭像

8. [CVPR '24] SplattingAvatar：具有網格嵌入式高斯潑濺的逼真即時人體頭像

9. SplatFace：利用可最佳化表面的高斯 Splat 面重建

10.哈哈：具有紋理網格先驗的高度鉸接的高斯人體頭像

11. [CVPRW '24] 用於 3D 感知生成對抗網路的高斯潑濺解碼器

12. GoMAvatar：使用 Gaussians-on-Mesh 從單眼影片進行高效的可動畫人體建模

13. OccGaussian：用於遮擋人體渲染的 3D 高斯潑濺

14. [CVPR '24] 猜猜看看不見的東西：從部分 2D 瞥見動態 3D 場景重建

15. [NeurIPS '24] 可泛化且可動畫的高斯頭部頭像

16. [SIGGRAPH Asia'24] DualGS：用於沉浸式以人為中心的體積視頻的魯棒雙高斯潑濺

17. [SIGGRAPH Asia'24] V^3：透過可串流的 2D 動態高斯在手機上查看體積視頻

2023 年：

1. 可駕駛的3D高斯化身

2. SplatArmor：透過單眼 RGB 影片為可動畫人類進行鉸接高斯潑濺

3. [CVPR '24] 可動畫高斯：學習姿勢相關高斯圖以進行高保真人體頭像建模

4. [CVPR '24] GART：高斯鉸接模板模型

5. [CVPR '24] Human Gaussian Splatting：可動畫化身的即時渲染

6. [CVPR '24] HUGS：人類高斯斑點

7. [CVPR '24] 用於高效 3D 人類生成的高斯殼圖

8. GaussianHead：具有可學習高斯推導的高保真頭部頭像

9. [CVPR '24] GaussianAvatars： Rigged 3D Gaussian 的真實感頭部頭像

10. [CVPR '24] GPS-Gaussian：用於即時人類小說視圖合成的可泛化像素級 3D 高斯潑濺

11. GauHuman：來自單目人類影片的鉸接高斯潑濺

12. HeadGaS：透過 3D 高斯潑濺實現即時動畫頭部頭像

13. [CVPR '24] HiFi4G：透過緊湊高斯潑濺進行高保真人類表現渲染

14. [CVPR '24] GaussianAvatar：透過可動畫 3D 高斯從單一影片實現逼真的人類頭像建模

15。

16。

17。

18。

19。

20。

21。

22。

23。

24。

經典作品：

1。

2。

3。

4。

壓縮：

2024 年：

1。

2。

3。

4。

5.3dgs.zip：關於3D高斯脫壓縮方法的調查

6。

7。

2023 年：

1。

2. compact3d：用向量量化的壓縮高斯SPLAT輻射場模型

3。

4. [ECCV '24] Compact 3D Scene Representation via Self-Organizing Gaussian Grids

擴散：