拓冰网站定制 
JoyAI-Image完全解析统一图像理解、AI绘图与图像编辑的多模态模型终极入门指南【免费下载链接】JoyAI-ImageJoyAI-Image is the unified multimodal foundation model for image understanding, text-to-image generation, and instruction-guided image editing.项目地址: https://gitcode.com/gh_mirrors/jo/JoyAI-ImageJoyAI-Image 是什么它是目前少有的「三合一」开源多模态模型一个模型家族同时搞定图像理解看图问答、AI绘图文生图和指令式图像编辑按你的话改图。它由 8B 参数的多模态大语言模型MLLM 16B 参数的多模态扩散 TransformerMMDiT组成核心卖点是空间智能——能听懂「把相机向右转 45°」这种带空间关系的指令。全文用最短路径带你跑通三大功能 ⚖️ 许可证Apache 2.0可自由商用一、项目亮点速览为什么值得关注亮点说明 统一多模态理解、生成、编辑共享同一套 MLLM-MMDiT 接口一个项目全搞定 空间智能物体移动、物体旋转、相机控制三种可编辑空间变换✍️ 长文字渲染海报、漫画、多语言排版长文本生成不乱码 开箱即用官方提供 inference.py、inference_und.py 两个一行启动脚本还支持 Diffusers 与 ComfyUI官方发布的模型家族Model Zoo如下模型任务用途JoyAI-Image-Und多模态理解图文理解底座擅长空间推理问答JoyAI-Image-Edit图像编辑指令引导的精确、可控空间编辑JoyAI-Image-Edit-Distilled图像编辑蒸馏加速版待发布JoyAI-Image-Edit-Plus多图像编辑跨图合成、多图联合编辑二、架构拆解8B 理解大脑 16B 生成画笔JoyAI-Image 的设计精髓在于「理解-生成-编辑闭环」更强的空间理解让生成和编辑更精准而视角变换这类生成能力反过来又能为空间推理提供视觉证据。从上图可以直观看到理解Understanding图片经 ViT 编码后交给 MLLM输出文字答案例如「男孩距离柱子约 1.7~1.9 米」生成/编辑Generation/Editing噪声 Token 进入 MMDiT Block由文本条件引导去噪最终经 VAE Decoder 还原成图右侧的 Self-Attention Gate 结构让图像 Token橙色与文本 Token蓝色在同一个 Transformer 里互相「看见」对方。模型核心代码都在 src/modules/ 下其中 src/modules/pipeline.py 是推理管线src/modules/scheduler.py 负责去噪调度MMDiT 主干在 src/modules/models/mmdit/dit/models.pyVAE 在 src/modules/models/mmdit/vae/wanvae.py。三、快速上手三步跑通 JoyAI-Image1️⃣ 一键安装环境要求Python ≥ 3.10 CUDA GPU。克隆仓库后git clone https://gitcode.com/gh_mirrors/jo/JoyAI-Image cd JoyAI-Image conda create -n joyai python3.10 -y conda activate joyai pip install -e .依赖清单在 requirements.txt 和 pyproject.toml 中维护核心是torch2.8、transformers4.57.0、diffusers0.34.0。Flash Attention 3 会通过kernels库自动拉取预编译二进制无需本地编译。2️⃣ 图像理解让 AI 看懂你的图用 inference_und.py 一行命令即可提问支持多图输入python inference_und.py \ --ckpt-root /path/to/ckpts_infer \ --image test_images/test_1.jpg,test_images/test_3.png \ --prompt Compare these two images. \ --max-new-tokens 1024不传--prompt时默认执行详细图像描述图注生成。常用参数--temperature 0可得到稳定的贪心解码--output可保存答案文本。下面这张仓库自带的测试图test_images/test_3.png就可以直接喂给模型试试3️⃣ 指令编辑与文生图同一入口两种玩法inference.py 是编辑和文生图的统一入口——带--image就是图像编辑不带就是 AI 绘图# 图像编辑把盘子变成蓝色 python inference.py \ --ckpt-root /path/to/ckpts \ --prompt Turn the plate blue \ --image test_images/test_1.jpg \ --output outputs/result.png \ --seed 123 --steps 30 --guidance-scale 4.0 # AI绘图文生图省略 --image 即可 python inference.py \ --ckpt-root /path/to/ckpts \ --prompt A little boy wearing a red hat standing by the roadside \ --output outputs/t2i.png常用参数速查参数默认值作用--steps30去噪步数越大越精细--guidance-scale4.0提示词遵循强度--seed42随机种子固定可复现--basesize1024输入图缩放基准256/512/768/1024--rewrite-prompt关启用 LLM 自动改写提示词--hsdp-shard-dim1多卡 FSDP 分片维度仓库的 test_images/ 目录提供了 3 张官方测试图例如 test_images/test_1.jpg 可直接用于编辑实验。四、看效果三大核心能力实测✍️ 能力雷达图一图看懂强弱项官方基准测试的雷达图显示JoyAI-Image 在空间理解、长文本渲染、编辑保真度等维度上均处于第一梯队️ 空间编辑模型最锋利的三把刀JoyAI-Image 支持三种标准化空间编辑指令照着官方模板写 prompt效果最稳① 物体移动Object Move模板Move the object into the red box and finally remove the red box.输入 → 输出把散落的橘子精准移到指定位置背景纹理几乎无损② 物体旋转Object Rotation模板Rotate the object to show the view side view.支持 front / right / left / rear 等 8 个视角。例如Rotate the chair to show the front side view.③ 相机控制Camera Control只改「镜头」不动「场景」模板长这样最后那句是保真关键Move the camera. - Camera rotation: Yaw 45°, Pitch 0°. - Camera zoom: in. - Keep the 3D scene static; only change the viewpoint.除了三大指令官方还展示了多视角生成给一张沙发或宇航员照片模型能自动生成环绕式多视角视图广泛用于 3D 重建与视频生成 进阶编辑反哺推理文字渲染不掉链子一个很有意思的用法是用编辑辅助推理问「钟楼上的钟和房子哪个更高」时模型先执行一次相机俯仰变换从新视角直接验证上下关系比纯文生图模型对比列给出的证据清晰得多文字渲染是另一个杀手锏多格漫画、中日韩混排海报、书籍封面、黑板手写体长文本都能稳定输出不乱码五、生态接入Diffusers 与 ComfyUI 双通道如果你更喜欢集成到现有工作流JoyAI-Image-Edit 有两条成熟路径DiffusersJoyImageEditPipeline已合入 diffusers 主线pip install后from diffusers import JoyImageEditPipeline即可加载权重跑编辑ComfyUI仓库内置 joyai_image_comfyui/ 自定义节点包提供 4 个节点UNET/CLIP/VAE 加载器 管线节点并内置分阶段 CPU offload——任意时刻 GPU 上只驻留一个大模型低显存也能跑。节点实现见 joyai_image_comfyui/nodes.py详细安装步骤看 joyai_image_comfyui/README.md。六、项目目录导航与常见问题目录速查路径说明README.md项目主页完整教程、CLI 参数、空间编辑模板inference.py图像编辑 / 文生图推理入口inference_und.py图像理解推理入口src/infer_runtime/推理运行时model.py 构建模型、checkpoints.py 加载权重、prompt_rewrite.py 提示词改写src/modules/模型模块管线、调度器、注意力、MMDiT、VAEjoyai_image_comfyui/ComfyUI 节点包与配置test_images/官方测试图片❓FAQQ没有 Hopper 架构显卡能跑 Flash Attention 3 吗能。预编译二进制覆盖不到时代码自动回退到本地 FA3 构建用FLASH_ATTN3_PATH指定路径即可。Q显存不够怎么办编辑任务可开启--hsdp-shard-dim多卡分片或走 ComfyUI 节点的cpu_offload模式。Q编辑效果不稳定空间编辑请尽量贴近第四节的官方 prompt 模板书写模板化指令的遵循度显著更高。七、写在最后 JoyAI-Image 用「理解生成编辑一体化」的思路把空间智能真正做进了开源模型里它不仅能看懂空间关系还能动手改空间关系。配合 Apache 2.0 协议、Diffusers/ComfyUI 双生态和一行命令的启动脚本它无疑是当前玩多模态图像生成最值得折腾的开源项目之一。打开 README.md克隆仓库今天就跑起你的第一张图吧【免费下载链接】JoyAI-ImageJoyAI-Image is the unified multimodal foundation model for image understanding, text-to-image generation, and instruction-guided image editing.项目地址: https://gitcode.com/gh_mirrors/jo/JoyAI-Image创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 JoyAI-Image完全解析：统一图像理解、AI绘图与图像编辑的多模态模型终极入门指南
JoyAI-Image完全解析统一图像理解、AI绘图与图像编辑的多模态模型终极入门指南【免费下载链接】JoyAI-ImageJoyAI-Image is the unified multimodal foundation model for image understanding, text-to-image generation, and instruction-guided image editing.项目地址: https://gitcode.com/gh_mirrors/jo/JoyAI-ImageJoyAI-Image 是什么它是目前少有的「三合一」开源多模态模型一个模型家族同时搞定图像理解看图问答、AI绘图文生图和指令式图像编辑按你的话改图。它由 8B 参数的多模态大语言模型MLLM 16B 参数的多模态扩散 TransformerMMDiT组成核心卖点是空间智能——能听懂「把相机向右转 45°」这种带空间关系的指令。全文用最短路径带你跑通三大功能 ⚖️ 许可证Apache 2.0可自由商用一、项目亮点速览为什么值得关注亮点说明 统一多模态理解、生成、编辑共享同一套 MLLM-MMDiT 接口一个项目全搞定 空间智能物体移动、物体旋转、相机控制三种可编辑空间变换✍️ 长文字渲染海报、漫画、多语言排版长文本生成不乱码 开箱即用官方提供 inference.py、inference_und.py 两个一行启动脚本还支持 Diffusers 与 ComfyUI官方发布的模型家族Model Zoo如下模型任务用途JoyAI-Image-Und多模态理解图文理解底座擅长空间推理问答JoyAI-Image-Edit图像编辑指令引导的精确、可控空间编辑JoyAI-Image-Edit-Distilled图像编辑蒸馏加速版待发布JoyAI-Image-Edit-Plus多图像编辑跨图合成、多图联合编辑二、架构拆解8B 理解大脑 16B 生成画笔JoyAI-Image 的设计精髓在于「理解-生成-编辑闭环」更强的空间理解让生成和编辑更精准而视角变换这类生成能力反过来又能为空间推理提供视觉证据。从上图可以直观看到理解Understanding图片经 ViT 编码后交给 MLLM输出文字答案例如「男孩距离柱子约 1.7~1.9 米」生成/编辑Generation/Editing噪声 Token 进入 MMDiT Block由文本条件引导去噪最终经 VAE Decoder 还原成图右侧的 Self-Attention Gate 结构让图像 Token橙色与文本 Token蓝色在同一个 Transformer 里互相「看见」对方。模型核心代码都在 src/modules/ 下其中 src/modules/pipeline.py 是推理管线src/modules/scheduler.py 负责去噪调度MMDiT 主干在 src/modules/models/mmdit/dit/models.pyVAE 在 src/modules/models/mmdit/vae/wanvae.py。三、快速上手三步跑通 JoyAI-Image1️⃣ 一键安装环境要求Python ≥ 3.10 CUDA GPU。克隆仓库后git clone https://gitcode.com/gh_mirrors/jo/JoyAI-Image cd JoyAI-Image conda create -n joyai python3.10 -y conda activate joyai pip install -e .依赖清单在 requirements.txt 和 pyproject.toml 中维护核心是torch2.8、transformers4.57.0、diffusers0.34.0。Flash Attention 3 会通过kernels库自动拉取预编译二进制无需本地编译。2️⃣ 图像理解让 AI 看懂你的图用 inference_und.py 一行命令即可提问支持多图输入python inference_und.py \ --ckpt-root /path/to/ckpts_infer \ --image test_images/test_1.jpg,test_images/test_3.png \ --prompt Compare these two images. \ --max-new-tokens 1024不传--prompt时默认执行详细图像描述图注生成。常用参数--temperature 0可得到稳定的贪心解码--output可保存答案文本。下面这张仓库自带的测试图test_images/test_3.png就可以直接喂给模型试试3️⃣ 指令编辑与文生图同一入口两种玩法inference.py 是编辑和文生图的统一入口——带--image就是图像编辑不带就是 AI 绘图# 图像编辑把盘子变成蓝色 python inference.py \ --ckpt-root /path/to/ckpts \ --prompt Turn the plate blue \ --image test_images/test_1.jpg \ --output outputs/result.png \ --seed 123 --steps 30 --guidance-scale 4.0 # AI绘图文生图省略 --image 即可 python inference.py \ --ckpt-root /path/to/ckpts \ --prompt A little boy wearing a red hat standing by the roadside \ --output outputs/t2i.png常用参数速查参数默认值作用--steps30去噪步数越大越精细--guidance-scale4.0提示词遵循强度--seed42随机种子固定可复现--basesize1024输入图缩放基准256/512/768/1024--rewrite-prompt关启用 LLM 自动改写提示词--hsdp-shard-dim1多卡 FSDP 分片维度仓库的 test_images/ 目录提供了 3 张官方测试图例如 test_images/test_1.jpg 可直接用于编辑实验。四、看效果三大核心能力实测✍️ 能力雷达图一图看懂强弱项官方基准测试的雷达图显示JoyAI-Image 在空间理解、长文本渲染、编辑保真度等维度上均处于第一梯队️ 空间编辑模型最锋利的三把刀JoyAI-Image 支持三种标准化空间编辑指令照着官方模板写 prompt效果最稳① 物体移动Object Move模板Move the object into the red box and finally remove the red box.输入 → 输出把散落的橘子精准移到指定位置背景纹理几乎无损② 物体旋转Object Rotation模板Rotate the object to show the view side view.支持 front / right / left / rear 等 8 个视角。例如Rotate the chair to show the front side view.③ 相机控制Camera Control只改「镜头」不动「场景」模板长这样最后那句是保真关键Move the camera. - Camera rotation: Yaw 45°, Pitch 0°. - Camera zoom: in. - Keep the 3D scene static; only change the viewpoint.除了三大指令官方还展示了多视角生成给一张沙发或宇航员照片模型能自动生成环绕式多视角视图广泛用于 3D 重建与视频生成 进阶编辑反哺推理文字渲染不掉链子一个很有意思的用法是用编辑辅助推理问「钟楼上的钟和房子哪个更高」时模型先执行一次相机俯仰变换从新视角直接验证上下关系比纯文生图模型对比列给出的证据清晰得多文字渲染是另一个杀手锏多格漫画、中日韩混排海报、书籍封面、黑板手写体长文本都能稳定输出不乱码五、生态接入Diffusers 与 ComfyUI 双通道如果你更喜欢集成到现有工作流JoyAI-Image-Edit 有两条成熟路径DiffusersJoyImageEditPipeline已合入 diffusers 主线pip install后from diffusers import JoyImageEditPipeline即可加载权重跑编辑ComfyUI仓库内置 joyai_image_comfyui/ 自定义节点包提供 4 个节点UNET/CLIP/VAE 加载器 管线节点并内置分阶段 CPU offload——任意时刻 GPU 上只驻留一个大模型低显存也能跑。节点实现见 joyai_image_comfyui/nodes.py详细安装步骤看 joyai_image_comfyui/README.md。六、项目目录导航与常见问题目录速查路径说明README.md项目主页完整教程、CLI 参数、空间编辑模板inference.py图像编辑 / 文生图推理入口inference_und.py图像理解推理入口src/infer_runtime/推理运行时model.py 构建模型、checkpoints.py 加载权重、prompt_rewrite.py 提示词改写src/modules/模型模块管线、调度器、注意力、MMDiT、VAEjoyai_image_comfyui/ComfyUI 节点包与配置test_images/官方测试图片❓FAQQ没有 Hopper 架构显卡能跑 Flash Attention 3 吗能。预编译二进制覆盖不到时代码自动回退到本地 FA3 构建用FLASH_ATTN3_PATH指定路径即可。Q显存不够怎么办编辑任务可开启--hsdp-shard-dim多卡分片或走 ComfyUI 节点的cpu_offload模式。Q编辑效果不稳定空间编辑请尽量贴近第四节的官方 prompt 模板书写模板化指令的遵循度显著更高。七、写在最后 JoyAI-Image 用「理解生成编辑一体化」的思路把空间智能真正做进了开源模型里它不仅能看懂空间关系还能动手改空间关系。配合 Apache 2.0 协议、Diffusers/ComfyUI 双生态和一行命令的启动脚本它无疑是当前玩多模态图像生成最值得折腾的开源项目之一。打开 README.md克隆仓库今天就跑起你的第一张图吧【免费下载链接】JoyAI-ImageJoyAI-Image is the unified multimodal foundation model for image understanding, text-to-image generation, and instruction-guided image editing.项目地址: https://gitcode.com/gh_mirrors/jo/JoyAI-Image创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考