当前位置：首页 > news >正文

Cosmos-Transfer1-DiffusionRenderer部署指南：从本地环境到生产系统的完整流程

news 2026/7/4 6:52:29

Cosmos-Transfer1-DiffusionRenderer部署指南：从本地环境到生产系统的完整流程

【免费下载链接】cosmos-transfer1-diffusion-rendererCosmos-Transfer1-DiffusionRenderer: High-quality video de-lighting and re-lighting based on Cosmos video diffusion framework项目地址: https://gitcode.com/gh_mirrors/co/cosmos-transfer1-diffusion-renderer

Cosmos-Transfer1-DiffusionRenderer是基于NVIDIA Cosmos视频扩散框架的高质量视频去光照和重新光照工具，能够实现可控的视频光照操作、编辑和合成数据增强，帮助AI系统提升对不同光照条件的鲁棒性。

📋 系统要求与环境准备

最低配置要求

操作系统：Linux（已测试Ubuntu 20.04/22.04/24.04）
Python版本：3.10.x
GPU要求：至少16GB VRAM（推荐48GB以上，如A100/A6000）
CUDA版本：12.0或更高
磁盘空间：至少70GB空闲空间

快速安装步骤

首先克隆项目仓库：

git clone https://gitcode.com/gh_mirrors/co/cosmos-transfer1-diffusion-renderer cd cosmos-transfer1-diffusion-renderer

方法1：Conda环境安装（推荐）

# 创建并激活conda环境 conda env create --file cosmos-predict1.yaml conda activate cosmos-predict1 # 安装依赖 pip install -r requirements.txt # 修复Transformer Engine链接问题 ln -sf $CONDA_PREFIX/lib/python3.10/site-packages/nvidia/*/include/* $CONDA_PREFIX/include/ ln -sf $CONDA_PREFIX/lib/python3.10/site-packages/nvidia/*/include/* $CONDA_PREFIX/include/python3.10 # 安装Transformer Engine pip install transformer-engine[pytorch]==1.12.0

方法2：Docker容器安装

# 构建Docker镜像 docker build -f Dockerfile . -t cosmos-predict1:latest

⚠️ 环境测试：安装完成后运行以下命令验证环境
CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python scripts/test_environment.py

📦 模型权重下载

模型权重约56GB，需通过Hugging Face获取：

创建Hugging Face访问令牌（获取教程）
登录Hugging Face：
```
huggingface-cli login
```

下载权重：

CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python scripts/download_diffusion_renderer_checkpoints.py --checkpoint_dir checkpoints

🚀 快速上手：图像推理示例

1. 图像逆渲染（提取G-buffer）

该步骤从输入图像中估计反照率、金属度、粗糙度、深度和法线等G-buffer数据：

CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_inverse_renderer.py \ --checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Inverse_Cosmos_7B \ --dataset_path=asset/examples/image_examples/ --num_video_frames 1 --group_mode webdataset \ --video_save_folder=asset/example_results/image_delighting/ --save_video=False

图1：Cosmos-Transfer1-DiffusionRenderer处理的示例图像，展示了输入图像的细节质量

2. 图像重新光照

使用上一步生成的G-buffer数据和环境贴图进行重新光照：

CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_forward_renderer.py \ --checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Forward_Cosmos_7B \ --dataset_path=asset/example_results/image_delighting/gbuffer_frames --num_video_frames 1 \ --envlight_ind 0 1 2 3 --use_custom_envmap=True \ --video_save_folder=asset/example_results/image_relighting/

🎥 视频处理流程

1. 视频帧提取

首先从视频中提取帧：

python scripts/dataproc_extract_frames_from_video.py --input_folder asset/examples/video_examples/ --output_folder asset/examples/video_frames_examples/ --frame_rate 24 --resize 1280x704 --max_frames=57

2. 视频逆渲染

CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_inverse_renderer.py \ --checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Inverse_Cosmos_7B \ --dataset_path=asset/examples/video_frames_examples/ --num_video_frames 57 --group_mode folder \ --video_save_folder=asset/example_results/video_delighting/

3. 视频重新光照

CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_forward_renderer.py \ --checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Forward_Cosmos_7B \ --dataset_path=asset/example_results/video_delighting/gbuffer_frames --num_video_frames 57 \ --envlight_ind 0 1 2 3 --use_custom_envmap=True \ --video_save_folder=asset/example_results/video_relighting/

图2：Cosmos-Transfer1-DiffusionRenderer的视频重新光照效果展示，包含输入视频、估计的基础颜色、深度、法向量和多种光照变换结果