AnySplat震撼发布：突破性3D高斯光栅化技术如何实现无约束视图的前馈式3D重建？

【免费下载链接】AnySplat[SIGGRAPH Asia 2025 (ACM TOG)] AnySplat: Feed-forward 3D Gaussian Splatting from Unconstrained Views项目地址: https://gitcode.com/gh_mirrors/an/AnySplat

AnySplat是一项由SIGGRAPH Asia 2025 (ACM TOG)发布的创新技术，它通过前馈式3D高斯光栅化技术，实现了从无约束视图进行高效的3D重建。这项技术为3D建模领域带来了全新的可能性，让普通用户也能轻松创建高质量的3D模型。

AnySplat技术原理：核心突破与创新

AnySplat的核心在于其独特的前馈式架构，能够直接从一组未校准的图像中生成3D模型。它采用基于Transformer的几何编码器，配合三个解码器头，分别预测高斯参数、深度图和相机姿态。这些输出被用于构建像素级3D高斯集合，然后通过可微分体素化模块转换为预体素3D高斯。

图：AnySplat的技术流程图，展示了从输入图像到3D重建的完整过程

这一创新架构使得AnySplat能够在不需要复杂相机校准的情况下，从任意角度的输入图像中重建出精确的3D结构。与传统方法相比，AnySplat不仅大大简化了操作流程，还显著提高了重建速度和质量。

快速上手：AnySplat的安装与使用

一键安装步骤

AnySplat的安装过程非常简单，只需几个步骤即可完成：

1. 首先克隆仓库：

git clone https://gitcode.com/gh_mirrors/an/AnySplat cd AnySplat

2. 创建并激活conda环境：

conda create -y -n anysplat python=3.10 conda activate anysplat

3. 安装依赖：

pip install torch==2.2.0 torchvision==0.17.0 torchaudio==2.2.0 --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt

最简单的3D重建方法

安装完成后，你可以通过以下简单代码实现3D重建：

from src.model.model.anysplat import AnySplat from src.utils.image import process_image # 加载模型 model = AnySplat.from_pretrained("lhjiang/anysplat") model.eval() # 加载并预处理图像 image_names = ["path/to/your/image1.jpg", "path/to/your/image2.jpg"] images = [process_image(name) for name in image_names] # 运行推理 gaussians, pred_context_pose = model.inference(images)

这段代码展示了AnySplat的核心功能，只需几行代码就能完成从图像到3D模型的转换。

直观体验：Gradio演示界面

AnySplat提供了一个直观易用的Gradio演示界面，让用户可以轻松体验3D重建的全过程。只需运行以下命令：

python demo_gradio.py

启动后，你将看到一个友好的Web界面，可以上传图片或视频，然后一键进行3D重建和可视化。

图：AnySplat的Gradio演示界面，展示了上传图像和查看3D重建结果的过程

在演示界面中，你可以：

• 上传图片或视频作为输入
• 预览上传的图像
• 点击"Reconstruct"按钮开始3D重建
• 在右侧查看重建的3D高斯光栅化结果
• 观察渲染的RGB和深度视频

高级应用：训练与优化

对于有经验的用户，AnySplat还提供了训练和优化功能，可以根据特定需求定制3D重建模型。

训练模型的最快配置方法

单节点训练：

python src/main.py +experiment=dl3dv trainer.num_nodes=1

多节点训练：

export GPU_NUM=8 export NUM_NODES=2 torchrun \ --nnodes=$NUM_NODES \ --nproc_per_node=$GPU_NUM \ --rdzv_id=test \ --rdzv_backend=c10d \ --rdzv-endpoint=$MASTER_ADDR:$MASTER_PORT \ -m src.main +experiment=multi-dataset +hydra.job.config.store_config=false

后优化处理

AnySplat还提供了后优化工具，可以进一步提升3D重建质量：

python src/post_opt/simple_trainer.py default --data_dir ...

评估与数据集

AnySplat支持多种评估指标和数据集，可以满足不同场景的需求。

评估方法

新视角合成评估：

python src/eval_nvs.py --data_dir ...

姿态估计评估：

python src/eval_pose.py --co3d_dir ... --co3d_anno_dir ...

支持的数据集

AnySplat目前支持三个示例数据集：

• CO3Dv2
• DL3DV
• ScanNet++

这些数据集代表了不同的训练视图采样策略，可以作为模板使用，也可以根据需要添加其他数据集。

总结：AnySplat带来的3D重建革命

AnySplat通过突破性的前馈式3D高斯光栅化技术，彻底改变了传统3D重建的工作流程。它不仅大大降低了3D建模的门槛，还提高了重建速度和质量，为各行各业的3D应用开辟了新的可能性。

无论是普通用户想要快速创建3D模型，还是专业人士需要高效的3D重建工具，AnySplat都能满足需求。随着技术的不断发展，我们有理由相信AnySplat将在3D计算机视觉领域发挥越来越重要的作用。

如果你对AnySplat感兴趣，不妨立即尝试，体验这项令人惊叹的3D重建技术！

【免费下载链接】AnySplat[SIGGRAPH Asia 2025 (ACM TOG)] AnySplat: Feed-forward 3D Gaussian Splatting from Unconstrained Views项目地址: https://gitcode.com/gh_mirrors/an/AnySplat