Metric3D：从单张图像实现零样本三维度量重建的终极指南

发布时间：2026/7/12 18:23:59

Metric3D：从单张图像实现零样本三维度量重建的终极指南

【免费下载链接】Metric3DThe repo for "Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image" and "Metric3Dv2: A Versatile Monocular Geometric Foundation Model..."项目地址: https://gitcode.com/gh_mirrors/me/Metric3D

想象一下，仅凭一张普通照片就能精确测量出真实世界中的物体尺寸、距离和三维结构，这听起来像是科幻电影中的场景。实际上，Metric3D让这一切成为了现实。这是一个革命性的开源项目，专门从零样本单目图像中实现精准的三维度量预测，无需任何场景先验知识就能恢复真实的物理尺度信息。

你是否遇到过需要从单张照片中获取精确尺寸信息的场景？无论是建筑测量、室内设计，还是自动驾驶环境感知，Metric3D都能为你提供强大的解决方案。作为CVPR2023单目深度估计挑战赛的冠军项目，Metric3D已经在10多个深度和法线基准测试中实现了SOTA性能，成为单目三维几何理解领域的重要里程碑。

1. 项目定位与核心价值：为什么Metric3D与众不同？

Metric3D的核心价值在于它解决了传统深度估计方法的根本痛点：度量尺度恢复。大多数深度估计方法只能预测相对的深度关系，而Metric3D能够直接从单张图像中恢复真实的物理尺度，这意味着你可以用它来测量实际距离和尺寸。

有趣的是，Metric3D采用了创新的标准化相机变换模块，将不同相机参数的输入图像转换到统一的标准化空间进行处理。这种设计让它能够适应各种相机类型和参数，真正实现了"零样本"的通用性。

图1：Metric3D的核心架构，展示了从输入图像到三维度量恢复的完整流程

2. 技术架构概览：解密Metric3D的工作原理

Metric3D的技术架构相当优雅而高效。它主要由四个核心模块组成：

标准化相机变换模块：将任意相机参数的输入图像转换到统一的标准化空间
深度模型预测：使用预训练的深度模型生成标准化空间中的深度图
反标准化变换：将预测深度转换回原始相机坐标系，恢复真实度量尺度
三维点云重建：通过深度图反投影生成具有物理尺度的三维点云

Metric3D支持多种骨干网络，包括DINO ViT-Small/Large/Giant2和ConvNeXt-Tiny/Large。其中，ViT-Giant2模型在KITTI数据集上实现了0.039的AbsRel误差和0.989的δ1分数，性能表现优异。

3. 快速上手指南：5分钟开始使用Metric3D

🔑安装步骤极其简单：

# 克隆项目仓库 git clone https://gitcode.com/gh_mirrors/me/Metric3D cd Metric3D # 安装依赖（ViT模型） pip install -r requirements_v2.txt # 或者ConvNeXt模型 pip install -r requirements_v1.txt

🔑下载预训练权重：

Metric3D提供了多个预训练模型，你可以根据需求选择：

v2-S：DINO2reg-ViT-Small + RAFT-4iter解码器
v2-L：DINO2reg-ViT-Large + RAFT-8iter解码器
v2-g：DINO2reg-ViT-giant2 + RAFT-8iter解码器
v1-T/L：ConvNeXt-Tiny/Large + Hourglass解码器

🔑运行KITTI测试：

# 运行KITTI专用测试脚本 bash test_kitti.sh

这个脚本会自动加载预训练权重，对KITTI数据集进行深度估计并计算各项评价指标。

4. 实战应用场景：Metric3D能为你做什么？

自动驾驶环境感知

Metric3D在KITTI数据集上的优异表现使其成为自动驾驶系统的理想选择。城市道路场景的深度估计能够为车辆提供精确的环境三维感知。

图2：KITTI数据集中的城市道路场景，包含建筑、车辆和道路元素

图3：Metric3D从单目图像预测的深度图，白色表示近处，黑色表示远处

室内场景三维重建

Metric3D同样擅长处理室内场景。无论是家具尺寸测量还是室内空间规划，它都能提供精确的三维信息。

增强现实与虚拟现实

通过精确的深度和法线估计，Metric3D能够实现真实世界与虚拟内容的精确融合，为AR/VR应用提供基础几何理解。

建筑与工业测量

从单张照片中测量建筑物尺寸、工业零件尺寸，Metric3D让这一切变得简单。

图4：Metric3D在不同场景下的深度和法线估计结果对比

5. 性能基准测试：数据说话

Metric3D在多个基准测试中表现出色。在KITTI数据集上，ViT-Giant2模型实现了：

AbsRel：0.039（绝对相对误差）
δ1：0.989（预测深度与真实深度的比值在1.25范围内的比例）
RMSE：1.766（均方根误差）

与同类方法相比，Metric3D在度量深度估计方面具有明显优势：

方法	骨干网络	KITTI AbsRel ↓	KITTI δ1 ↑	NYUv2 AbsRel ↓
DepthAnything	ViT-Large	0.046	0.982	0.056
Metric3D (ViT-L)	ViT-Large	0.044	0.985	0.047
Metric3D (ViT-g)	ViT-giant2	0.039	0.989	0.045

图5：Metric3D在单视图度量重建和SLAM映射中的精度对比

6. 生态集成方案：与其他工具无缝结合

与Droid-SLAM集成

Metric3D可以与单目视觉SLAM系统Droid-SLAM结合，解决尺度漂移问题，实现度量级SLAM。这种组合让单目SLAM系统能够像立体系统一样感知真实尺度。

ONNX支持与部署

Metric3D提供了完整的ONNX支持，便于在各种平台上部署：

# 导出ONNX模型 python3 onnx/metric3d_onnx_export.py metric3d_vit_small # 测试ONNX推理 python3 onnx/test_onnx.py metric3d_vit_small.onnx

PyTorch Hub集成

只需几行代码即可使用Metric3D：

import torch model = torch.hub.load('yvanyin/metric3d', 'metric3d_vit_small', pretrain=True) pred_depth, confidence, output_dict = model.inference({'input': rgb})