ComfyUI图生图节点搭建+局部重绘功能,图片预处理一键换背景

3,903 00

图生图、局部重绘、一键换背景

作者
寒彬
来源
AI知识站
发行日期
2024-03
ComfyUI图生图节点搭建+局部重绘功能,图片预处理一键换背景

简介

前面我们了解了ComfyUI文生图的基本概念,这期再来看下图生图的操作流程,其实图生图最快的搭建方式,就是加载一套默认的文生图节点,在这个基础上进行修改。

我们还是可以参考webui的图生图,来看它生成图片条件,这里的提示词和采样的部分,在文生图节点已经有了,比较重要是,这里的图片上传功能,说到这里,
用过webui的朋友都知道,图生图,顾名思意,那肯定是,先要上传一张原始图片,然后在这张图片上进行修改。
那在comfyUI里面所对应的就是,图像加载节点,我们还是鼠标右键新建节点-选择图像-再选择加载图像,这样就实现了图片上传功能,这里你可以上传准备的素材,上面是图片的名称。

上传后我们该怎么连接呢?不知道有没有同学,还记不记得,文生图节点搭建那期,图片放大的原理,现在我们上传的这张图片是在像素空间,你也可以理解成现实空间,而像素空间的图片,是不受CLIP约束,他两是无法链接,上传完成后,我们是不是要对图片进行简单的预处理呢?比如调整它的尺寸,

在webui里面,也能看到它提供了两种方式,手动设置尺寸和按比例缩放,再回到comfyUI,选择这个图像圆点往外拉,新建节点-图像-选择放大-这里就和刚刚webui里面的两种方式一样的,图像缩放和按系数缩放,这两个可以按你的需求来选择,我这里就选择图像缩放,比如,你觉得这个手动设置不够精准,还要我们手动去输入,有点麻烦,那你就用按图像系数缩放,在系数里面设置需要放大的倍数,比如1.5倍或者2倍,如果显卡好上4倍也行。

缩放算法

  • 最临近差值法,也是一个基础算法,简单粗暴,速度比较快,效果一般,其实它的思路就是采样,不仅可以采完全相同百分百位置的值,还可以采周围点的值,这个算法由于快,有时候会出现锯齿状的边缘。
  • 双线性插值法,所谓双线性,就是在二维平面上考虑问题,这个算法在临近差值法上,对相邻的4个像素值加权平衡,这种方法出来的图像比较平滑,中高质量,属于是一种均衡类型,
  • 区域,这种方法在缩放图像时,对于每个目标像素,它会找到原始图像中对应的区域,然后根据这个区域内的像素值,来计算出新像素的值。在这个过程中,它会对原始图像中的像素,进行一些插值或者加权平均来得到目标像素的值,以此来保持图像的质量和细节。优点在于可以保留图像的平滑性,减少图像的锐化效果和像素之间的失真。这种方法常用的是,需要放一些比较大的尺寸,比如像户外打印或展示效果。
  • 双三次插值,是在双线性算法的基础上,对相邻的16个像素值进行加权平均,计算新图像中1个点,它使用了三次样条插值函数,来进行像素值的估算,这种插值方法也能够产生,比较平滑和高质量结果。但是这个计算的时间会更久
  • anczos,该算法使用了一种卷积方法,通过对像素点周围的采样点进行加权平均,得到缩放后像素点的值。该算法在保持图像细节的同时,会对图像进行轻微模糊。

简而言之,

  • (近邻插值):速度快,但图像质量可能较差,特别是在放大时可能会出现锯齿状边缘。
  • (双线性插值):速度较快,图像质量相对较好,适用于一般的均衡需求。
  • (区域插值):速度较快,但图像质量可能略低于双线性插值,特别是在放大时。
  • (双三次插值):图像质量较高,但相对于双线性插值来说速度可能较慢。
  • (Lanczos 插值):图像质量最高,但通常速度较慢,尤其是在大规模缩放时。

因此,如果对图像质量有较高要求,且可以接受一定的性能损失,推荐使用 Bicubic 或 Lanczos 插值。而如果对速度要求较高,可以考虑使用双线性插值或最近邻插值。当然下来你们也可以单独去测试效果。

图片预处理

再比如说,我们想对这张图片进行裁剪,一般常见的就是在PS里面去修改,但是在comfyUI里面有一个快捷的方式,首先来复制一个加载图像节点,然后再图像节点这里往外拖,新建节点-图像-变换-再选择图像裁剪,这里在拉一个预览裁剪后的图片。

好,说完这个缩放算法和预处理,那我们再给图片一个VAE编码,让它把预处理后的图片送到潜在空间,也就是这个latent。然后把VAE的latent和采样器的latent链接,那原来的空latent就会断开,你可以删除,或者Ctrl+b隐藏,好了后我们再来点生成。

这时你会发现生成的图片和我们上传的图片差距有点远,这是因为采样器的降噪,现在还是1,所以差距很大,那这个降噪值也就是webui里面的重绘强度,现在我把它改为0.3,再点生成,可以看到,改完降噪后的图片和原图很相识,所以这个降噪值还是根据你们的需求来设置。

更多详情查看以上视频!

相关小视频