当前位置：首页 > news >正文

ComfyUI ControlNet Aux插件完全指南：解锁AI绘画的终极控制力

news 2026/6/29 16:10:00

ComfyUI ControlNet Aux插件完全指南：解锁AI绘画的终极控制力

【免费下载链接】comfyui_controlnet_auxComfyUI's ControlNet Auxiliary Preprocessors项目地址: https://gitcode.com/gh_mirrors/co/comfyui_controlnet_aux

想要在ComfyUI中实现精准的图像控制，但苦于找不到合适的预处理工具？ComfyUI ControlNet Aux插件为你提供了超过30种专业的预处理节点，从线稿提取到姿态估计，从深度图生成到语义分割，这个插件让你的AI绘画创作如虎添翼。作为ComfyUI生态中最全面的ControlNet辅助预处理工具集，它解决了用户在图像预处理过程中的各种痛点，让复杂的控制变得简单高效。

📊 插件核心功能概览

ControlNet Aux插件将ControlNet的预处理功能模块化，为不同场景提供专门的解决方案。无论你是想要提取动漫线稿、生成深度信息，还是进行姿态估计，这个插件都能满足你的需求。

从上图可以看到，插件支持多种预处理功能，包括动漫面部分割、深度图生成、线稿提取、姿态估计等，每个功能都有专门的节点处理。

主要功能分类

线稿提取器- 专为艺术创作设计

Canny边缘检测：提取清晰的物体轮廓
HED软边缘线：生成柔和自然的边缘线
动漫线稿提取：专门针对动漫风格图像优化
TEED软边缘线：生成高质量的软边缘线稿

深度与法线估计器- 理解3D空间

MiDaS深度图：生成单目深度估计
Zoe深度图：更精确的深度信息提取
Depth Anything：通用的深度估计算法
法线图生成：为3D建模提供表面法线信息

姿态与面部估计器- 精准控制人物动作

DWPose姿态估计：完整的人体姿态检测
OpenPose姿态估计：经典的人体姿态识别
动物姿态估计：支持动物动作捕捉
MediaPipe面部网格：精确的面部3D建模

语义分割器- 理解图像内容

OneFormer分割：先进的语义分割算法
Uniformer分割：高效的语义分割模型

🚀 快速安装指南

安装ComfyUI ControlNet Aux插件非常简单，推荐使用ComfyUI Manager进行一键安装：

通过ComfyUI Manager安装（推荐）
- 安装ComfyUI Manager
- 在Manager中搜索"comfyui_controlnet_aux"
- 点击安装并重启ComfyUI

手动安装方式如果你无法使用Manager，可以手动安装：

cd /ComfyUI/custom_nodes/ git clone https://gitcode.com/gh_mirrors/co/comfyui_controlnet_aux cd comfyui_controlnet_aux pip install -r requirements.txt

对于Windows用户，还可以直接运行install.bat脚本进行自动安装。

🎯 核心功能深度解析

深度图生成：让AI理解3D空间

深度图是ControlNet中最重要的控制信息之一，它能让AI理解图像的3D结构。ControlNet Aux插件提供了多种深度估计算法：

从上图可以看到，插件支持多种深度估计算法，包括ZoeDepth、DepthAnything等，每个算法都有其独特优势：

ZoeDepth：适合室内场景，深度估计更精确
Depth Anything：通用性强，适用于各种场景
MiDaS：经典算法，稳定性好

线稿提取：艺术创作的基石

对于动漫创作和艺术设计，线稿提取是必不可少的步骤。插件提供了多种线稿提取算法：

TEED软边缘线是目前效果最好的线稿提取算法之一，它能生成自然流畅的线条，保留原始图像的细节特征。相比传统的Canny边缘检测，TEED更适合艺术创作需求。

姿态估计：精准控制人物动作

无论是人物绘画还是动画制作，姿态控制都是关键。插件支持多种姿态估计算法：

DWPose和OpenPose是两种主要的人体姿态估计算法：

DWPose：精度更高，支持全身姿态估计
OpenPose：经典算法，兼容性好
动物姿态估计：专门为动物设计的姿态识别

法线图生成：3D建模的得力助手

法线图在3D建模和游戏开发中非常重要，它能提供表面的方向信息：

DSINE和BAE是两种主要的法线图生成算法：

DSINE法线图：彩色编码，方向信息更直观
BAE法线图：更柔和，适合某些特定场景
Metric3D法线：最新的法线估计算法

🔧 实用技巧与优化建议

提升DWPose性能

如果你发现DWPose运行缓慢，可以尝试以下优化方法：

使用TorchScript加速

设置bbox_detector和pose_estimator使用.torchscript.pt格式的模型
这种方法不需要额外库，速度比CPU快很多

使用ONNXRuntime加速（需要CUDA 11.8）

根据你的GPU类型安装对应的onnxruntime：
- NVIDIA CUDA 11.x或更低：onnxruntime-gpu
- NVIDIA CUDA 12.x：onnxruntime-gpu --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/
- AMD GPU：onnxruntime-gpu
- DirectML：onnxruntime-directml
- OpenVINO：onnxruntime-openvino
将对应的包添加到requirements.txt
重新运行安装脚本

获取OpenPose格式JSON数据

插件支持输出OpenPose格式的JSON数据，方便与其他工具集成：

用户端使用

使用Save Pose Keypoints节点保存姿态关键点
数据将保存到ComfyUI的输出文件夹

开发者集成如果你正在开发扩展工具，可以通过以下方式获取姿态数据：

const poseNodes = app.graph._nodes.filter(node => ["OpenposePreprocessor", "DWPreprocessor", "AnimalPosePreprocessor"].includes(node.type) ); for (const poseNode of poseNodes) { const openposeResults = JSON.parse(app.nodeOutputs[poseNode.id].openpose_json[0]); console.log(openposeResults); }