什么是ControlNet？
ControlNet是一种神经网络架构，它通过接受不同类型的条件输入来控制和引导图像生成模型，以实现更精确和多样化的图像生成。简单来说就是可以通过添加条件图片的形式来自定义生成的结果。
ControlNet的作用
可以更加精细化控制整体图片的元素——主体、背景、风格等等，不需要进行大量的“抽卡”来随机性的选择，你可以通过ControlNet中的Canny(硬边缘)，Softedge(软边缘)，depth(深度图)等控制功能来进一步精化的控制生成画面。
ControlNet主要功能
图像参考
适用于希望生成图像与特定参考图像具有相似风格或结构的情况。
例如：生成与某幅艺术作品风格相似的图像。
图像参考参数设置：
控制权重：决定控制效应在图片中呈现的强度，默认为1
起始步数：该controlnet从哪一步开始对图像生成内容产生影响(开始的时机)
完结步数：该controlnet从哪一步停止对图像生成内容产生影响(结束的时机)
步数：默认从0到1代表该controlnet从头到尾全程生效，起始步数越大，控制开始生效的时间就越晚，完结步数越小，控制结束的时间就越早，生成的图像自由度就更高。
风格保真：参数越高，对图片的参考程度越高。
参考权重：
reference_adain：仅参考输入图参考颜色
reference_adain+attn：仅参考输入图，自适应实例规范+Attention链接
reference_attn(only)：仅参考输入图
硬边缘
根据边缘检测将图像中的人物或者物体轮廓提取比较精细的线稿(基本可以识别出原图内的细节)，让AI按照轮廓线条生成图像。
注意：参考图片要尽量保证画面的干净，需减少对原图中主体的干扰部分， 这样提取的轮廓边缘线条就会更清晰。
硬边缘参数设置：
控制权重：决定控制效应在图片中呈现的强度，默认为1 起始步数：该controlnet从哪一步开始对图像生成内容产生影响(开始的时机)
完结步数：该controlnet从哪一步停止对图像生成内容产生影响(结束的时机)
步数：默认从0到1代表该controlnet从头到尾全程生效，起始步数越大，控制开始生效的时间就越晚，生成的图像自由度就更高。
低阈值：数值越低提取的线条就越细，零散的线条就越多，提高(低阈值)图片会有大体的轮廓
高阈值：越高提取的图像线稿就越清晰
注意：
想要保留图片细节多一些可以降低(低阈值)，细节少则提高(低阈值)，一般保持默认即可。
如果生成的图片和参考图过于相似可以考虑降低控制权重或者对提示词进行丰富。
软边缘
对比硬边缘，识别出来的细节会稍微少一点，可以对部分内容适当重绘，让AI有更多的发挥空间，适合生成具有柔和过渡和模糊边缘的图像。
深度
提取图片中的深度信息，分辨图片内容的前后关系，越白的越靠前，会生成具有原图同样深度结构的图，可以更好的还原图中人物或者物体的前后关系该功能。适用于人物写真、3D建模，3D海报、建筑设计、绘制背景等应用。
简单来说你对一张图的构图非常满意，但内容不满意，或者想生成于参考样图相同结构的，但内容不相同的图片就可以用深度。注意：深度提取会丢失原图的一些细节，只能识别到图片中的大体轮廓与构图。
深度参数设置：
控制权重：决定控制效应在图片中呈现的强度，默认为1 起始步数：该controlnet从哪一步开始对图像生成内容产生影响(开始的时机)
完结步数：该controlnet从哪一步停止对图像生成内容产生影响(结束的时机)
步数：默认从0到1代表该controlnet从头到尾全程生效，起始步数越大，控制开始生效的时间就越晚，完结步数越小，控制结束的时间就越早，生成的图像自由度就更高。
草稿/涂鸦
草稿涂鸦会丢失较多细节，适用于用于草稿/涂鸦绘图/原图有较多内容想要重绘，但又需要保留大致的形状的图让AI生成更精细和详细的图像。
草稿/涂鸦(Sketch/Scribble)参数设置：
控制权重：决定控制效应在图片中呈现的强度，默认为1 起始步数：该controlnet从哪一步开始对图像生成内容产生影响(开始的时机)
完结步数：该controlnet从哪一步停止对图像生成内容产生影响(结束的时机)
步数：默认从0到1代表该controlnet从头到尾全程生效，起始步数越大，控制开始生效的时间就越晚，完结步数越小，控制结束的时间就越早，生成的图像自由度就更高。
人物姿势（真人照片）
通过姿势识别，达到精准识别图像中人物中的姿势，从而生成对应的动作姿势。适合角色设计和需要特定姿势人物图像的领域。
人物姿势(0penPose)参数设置：
控制权重：决定控制效应在图片中呈现的强度，默认为1 起始步数：该controlnet从哪一步开始对图像生成内容产生影响(开始的时机)
完结步数：该controlnet从哪一步停止对图像生成内容产生影响(结束的时机)
步数：默认从0到1代表该controlnet从头到尾全程生效，起始步数越大，控制开始生效的时间就越晚，完结步数越小，控制结束的时间就越早，生成的图像自由度就更高。
线稿
将图像转换为程式化的线条来生图，利用线稿控制生成的图片与原图最大的差异通常在于配色不同。适合任何需要基于线稿生成详细图像、2D转3D、线稿上色等应用场景。
如果你只喜欢图片的线稿构图，但配色对不太满意的话，那么你就可以使用线稿（Lineart）控制来对你的图片进行处理。
二次元线稿
生成动漫风格的线条绘图，对比线稿来说，提取细节会少一些，但会更好生成二次元人物，适合漫画、动画以及相关艺术作品的创作。
二次元线稿参数设置：
控制权重：决定控制效应在图片中呈现的强度，默认为1 起始步数：该controlnet从哪一步开始对图像生成内容产生影响(开始的时机)
完结步数：该controlnet从哪一步停止对图像生成内容产生影响(结束的时机)
步数：默认从0到1代表该controlnet从头到尾全程生效，起始步数越大，控制开始生效的时间就越晚，完结步数越小，控制结束的时间就越早，生成的图像自由度就更高。
直线
通过分析图片的直线线条结构和几何形状来构建出建筑外观，适用于室内/建筑设计等较为规则的应用场景。
直线(MLSD)参数：
控制权重：决定控制效应在图片中呈现的强度，默认为1 起始步数：该controlnet从哪一步开始对图像生成内容产生影响(开始的时机)
完结步数：该controlnet从哪一步停止对图像生成内容产生影响(结束的时机)
步数：默认从0到1代表该controlnet从头到尾全程生效，起始步数越大，控制开始生效的时间就越晚，完结步数越小，控制结束的时间就越早，生成的图像自由度就更高。
分数阈值：筛选线条的直线强度，值越大被过滤的线条越多，最后只剩直线。
距离阈值：筛选线条的长度，值越大过短的直线会被过滤，画面提取的线条就越清晰。
语义分割
通过标注画面中的不同区块颜色和结构，从而控制画面的构图和内容生成。适用于大场景的画风更改。
法线贴图
根据生成的法线向量生成图片，会记录凹凸信息，根据凹凸内容生成更好的细节 可以模拟复杂的光照和纹理效果。适用于3D建模，提升模型表面的细节和逼真度。
单ControlNet应用方式参考
线稿上色(硬边缘、软边缘、线稿、二次元线稿)
建筑/室内设计(直线)
背景替换(深度 )
控制人物动作(人物姿势)
多ControlNet应用方式参考
控制人物与背景 人物姿势+深度，人物姿势控制姿态，深度控制背景生成内容。
调整 controlnet 权重，让人物姿势>深度
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
