wxya（个人网站）ControlNet
ControlNet版本:
场景资料下载web ui 安装扩展插件安装模型名词介绍ControlNet 种类常用Canny 边缘检测SoftEdge（Hed） 软边框t2iAdapterDepth 深度
ControlNet版本:
SD:1.5 版本的
SDXL 版本的，SDXL Lightning 兼容也可以使用的
根据文件大小分为完整，中等，小的
场景
美图的添加小饰品，就是用的ControlNet，似乎是Cannary
资料
SDXL ControlNet 对比：https://www.bilibili.com/read/cv26710220/
下载
- HugoAI学习资料中就有，可以直接使用
- 网站
- SD 5GVersion: https://huggingface.co/lllyasviel/ControlNet/tree/main/models
- SD 700MVersion: https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main
- SDXL ControlNet:
web ui 安装扩展插件
扩展中直接安装这个插件就行
- sd-webui-controlnet sd-webui-controlnetMikubill • Updated Aug 1, 2024
- openpose-editor
安装模型
- 预处理模型
Controlnet模型下载地址 ：
- 生成模型
预处理器模型下载地址 （没必要手动下载,使用的时候会自动下载）：
名词介绍
启用：是否启用当前 ControNet 功能，如果你要启用多个 ControlNet ，你就多个 ControNet 都勾选启用。
低显存模式：如果你的显卡低于 6G ，建议勾选该选项，原因你懂的。
完美像素模式：让 ControlNet 自适应预处理器分辨率，勾选以后，「Preprocessor Resolution」选项会消失。
允许预览：预览预处理处理的效果。
控制类型：相当于选择预处理器和模型的快捷目录，点击需要的控制类型，会自动加载对应的预处理器和模型。
预处理：预处理器下拉菜单，和模型搭配使用。
模型：模型下拉菜单，也就是我们下载的各种模型，每个模型都有不同的功能。
控制权重： ControlNet 输出的权重大小，权重越大，影响越大。
引导介入时机：我们都知道 SD 有迭代步数，这里就是从哪一步开始介入图像的处理，设置为 0 ，则代表从一开始就介入，设置为 0.5 ，则代表从中间步数的时候介入处理。
引导终止时机：和以上相反，从哪一步退出对图像的处理。
控制模式：主要有三种模式：均衡、更偏向提示词、更偏向 ControlNet ，就是字面意思，听雨就不多解释了。
缩放模式：也分为三种：仅调整大小、裁剪后缩放、缩放后填充空白
- 仅调整大小：直接拉伸，比例不对会出现变形。
- 裁剪后缩放：会丢失原图部分内容。
- 缩放后填充空白：会在原图上产生新的内容。
回送：字面意思，把生成以后的图像送回 ControlNet 。
ControlNet 种类
ControlNet v1.1.150版本，一共有37种。
invert（白底黑线反色）
canny（边緣检测）
depth_leres （LeRes 深度图估算）
depth_leres++ （LeRes 深度图估算++）
depth_ midas （MiDas 深度图估算）
depth_ zoe （ZoE 深度图估算
Inpaint_ Global Harmonious（重绘- 全局融合算法）
lineart_anime（动浸线稿提取
lineart_anime_denoise（（动浸线稿提取-去噪）
lineart_coarse（粗略线稿提取）
lineart_ realistic（写实线稿提取
lineart_standard（标准线稿提取-白底黑线反色）
mediapipe_ face（脸部边缘检测）
mlsd （M-LSD 直线线条检测）
normalbae （Bae 法线贴图提取）
normal midas （Midas 法线贴图提取）
openpose （OpenPose 姿态）
ppenpose_face （OpenPose 姿态及脸部）
ppenpose_faceonly （OpenPose 仅脸部）
bpenpose_full （OpenPose 姿态、手部及脸部
openpose_hand （OpenPose 姿态及手部）
scribble_hed （涂鸦-合成）
scribble_pidinet （涂鸦-手绘）
scribble_xdog（涂鸦-强化边緣）
seg_ofade20k（语义分割- OneFormer 算法 -ADE20k协议）
seg_ofcoco（语义分割- OneFormer算法-COCO 协议）
seg ufade20k（语义分割- UniFormer 算法-ADE20k协议）
shuffle（随机洗牌）
softedge_hed （HED 软边家检测）
SoftEdge_HEDSafe（软边緣检测-保守HED 算法）
SoftEdge_PiDiNet（软边缘检测-PiDiNet 算法）
SoftEdge_PiDiNetSafe（软边缘检测-保守 PiDiNet 算法）
T2ia_ Color_Grid（自适应像表画处理）
T2ia_ Sketch_ PiDi （自适应手绘边缘处理）
T2ia_Style_Clipvision （自适应风格迁移处理）
threshold（阈值）
tile resample （分块重采样）
常用
- Open pose姿势检测
- Depth深度检测
- Canny边缘检测
- Lineart边缘检测
- SCRIBBLE涂鸦乱画
Canny 边缘检测
SoftEdge（Hed） 软边框
软边缘：边缘渐变，画风柔和，过渡自然
HED or PlDl tends to hide a corrupted greyscale version of theoriginal image inside the soft estimation, and such hidden patterns candistract ControlNet, leading to bad results
HED 或 PIDI 会在预估的图像中，隐藏原始图像的损坏灰度版本这种隐藏模式会分散 ControlNet 的注意力，从而导致糟糕的结果Safe用来移除隐藏的灰度信息
稳健性: PIDI safe > HED safe > PIDI >HED
最终质量:HED>PIDI>HED sale > PIDl sale
t2iAdapter
腾讯出品的
Depth 深度
亮色近，深色远
Midas
经典深度估算器，背景细节较少
LeRes
更多细节，但也倾向于呈现背景
LeRes++
比LeRes更多细节
Zoe
介于Midas和LeRes之间
Loading...