DiffSynth Studio3 步跑通图像与视频生成的开源扩散引擎【免费下载链接】DiffSynth-StudioEnjoy the magic of Diffusion models!项目地址: https://gitcode.com/GitHub_Trending/dif/DiffSynth-Studio输入一句文本提示就能拿到一张高清图或一段带声音的视频。DiffSynth Studio 是由魔搭团队维护的开源扩散模型引擎覆盖图像生成、视频生成、音频生成三类模型你用它就能在消费级 GPU 上完成推理与训练不用折腾环境适配。能力速览它能帮你做什么模型覆盖广14 个图像模型、4 个视频模型、2 个音频模型外加图像质量评测模型每个模型都配了可运行的示例脚本。低显存推理显存管理模块在硬盘、内存、显存之间动态搬运模型参数6GB 显存的显卡也能生成短视频。⚙️参数量化支持把参数转成 NF4、INT8 等低精度推理和训练的显存占用进一步降低。任意训练几乎每个能推理的模型都能训练LoRA、全量微调、拆分训练都走同一套框架。依赖可选项基础安装只带必需包音频、量化、分布式训练按需通过 extras 追加。最快上手路径三步跑通 Web UI第 1 步安装框架在终端执行下面两条命令克隆代码并安装。依赖里的 torch、transformers 会一并拉下来。git clone https://gitcode.com/GitHub_Trending/dif/DiffSynth-Studio cd DiffSynth-Studio pip install -e .第 2 步启动推理 Web UI推理 Web UI 基于 Streamlit 构建需要额外装一个包。启动后打开 http://localhost:8501/ 即可操作页面控件由 Pipeline 代码的参数自动解析生成和代码调用逻辑一一对应。pip install streamlit streamlit run examples/dev_tools/webui.py --server.fileWatcherType none第 3 步直接跑一个文生图示例不想开浏览器也可以直接运行示例脚本。下面这条命令使用 Z-Image-Turbo 模型首次运行会自动从魔搭社区下载权重结果存为本地图片文件。python examples/z_image/model_inference/Z-Image-Turbo.py玩法与场景你给什么输入得到什么结果文生图输入一段中英文提示词输出一张 JPG。示例examples/z_image/model_inference/Z-Image-Turbo.py跑完后会生成image_Z-Image-Turbo.jpg用看图软件直接打开。文生视频、图生视频Wan 与 LTX-2 系列支持从一段文字或一张参考图出发生成带声音的视频。想先试小参数量看examples/wanvideo/model_inference/Wan2.1-T2V-1.3B.py中端显卡就能带动。训练自己的风格 LoRA输入几十张图加一份描述表输出 LoRA 权重文件。命令模板在examples/z_image/model_training/lora/Z-Image-Turbo.sh改一下数据集路径就能用。上下游生态它和谁配合模型权重来源默认从魔搭社区下载通过环境变量可切换下载源配置方式见docs/zh/Pipeline_Usage/Environment_Variables.md。计算栈基于 PyTorch配合 transformers、accelerate、peft 运行多卡分布式训练可选装 deepspeed。训练日志安装[logger]依赖后可用 TensorBoard 或 SwanLab 记录训练曲线。配套工具DiffSynth-WebUI 是基于本框架构建的 LoRA 训练服务可一键私有化部署到个人电脑。装好之后先花十分钟读完docs/zh/Pipeline_Usage/Model_Inference.md这份教程文档了解参数约定再按examples/目录逐个打开示例试跑这是最快进入状态的路径。提示文中的命令与文件路径以当前仓库版本为准随版本更新可能变化请以官方 ReadmeREADME_zh.md和docs/zh/下的文档为准。【免费下载链接】DiffSynth-StudioEnjoy the magic of Diffusion models!项目地址: https://gitcode.com/GitHub_Trending/dif/DiffSynth-Studio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考