ai绘画基础总结(三)学习工作流
教程源于学习:AI绘画进阶入门ComfyUI系列教程-1.简易安装于配置完全指南!_哔哩哔哩_bilibili,编写此教程目的作为笔记使用。
一、基本工作流控件
K采样器
名称 | 参数 |
---|---|
随即种 | 生成的图片id |
运行后操作 | fixed(固定)、increment(增加)、decrement(减少)、randomize(随机)、 |
步数 | 采样步数通常20-60步 |
CFG | 通常7,少一点就是4 |
采样器 | euler_ancestral+调度器normal对应webui中Eulera(最普通的生成方式)、dpmpp_2m+调度器karras对应webui中的dpm++2m Karras(没有sde效果好,增加了图片的发挥和想象力)、uni_pc和LCM类似(10步之内出不错的图像) |
调度器 | karras,ddim(可能会崩),simple(作者实验,不好用),normal(线性降噪╱型,泛用式调度器),karras(曲线降噪s型,较为平滑,刚开始比较少,到了中间大幅降噪,快结束时又比较少),karras(急速降噪, 后半部,收敛块),sgm配合采样器LCM搭配使用 |
降噪 | 默认文生图就是1,图生图的重绘幅度 |
K采样器(高级)
添加噪波二次渲染不需要
第一次渲染,开始步数默认为0,步数为30,结束降噪步数比30大没有任何意义。如果小于步数就会主动停止。现在结束降噪步数为20,那么还剩余10步,就会传递给下一次降噪。返回噪波需要开启。二次渲染如果步数到了就不需要了。
也就是说当一次渲染为30步,开始降噪步数为0,结束降噪步数20,在20步结束了降噪步数,返回噪波需要开启噪波,第二次渲染的时候,步数为也为30,开始降噪步数要设成20。结束降噪步数>步数
这种方法适合不同模型的融合采样二次精炼,在SDXL和1.5模型都适用。
CheckPoint加载器(简易)
加载主模型。模型训练的时候像素512*512的图像(真实空间(Pixel space)每一个像素生成的空间),训练后压缩一块一块的64 * 64电脑会在小块的空间(潜在空间)里面合成我们想要的消息,然后转换成我们肉眼所能看到的图像。
自己想的一个小小的例子,方便大家理解。
1. 前期准备:
- 您作为一个定制花瓶的生产者,已经积累了丰富的设计经验。
- 您准备了一个房间,里面存放了成千上万打碎的花瓶碎片。这些碎片代表了像素,而整个房间就是您的大模型,包含了丰富的花瓶样式和元素。
2. 接收需求:
- 有一天,有客户提出了他们的花瓶需求,通过语言描述的方式告诉您他们想要的花瓶样式。
3. 根据需求提取碎片:
- 您进入房间(大模型),开始根据客户的描述(CLIP文本编码器)来寻找符合要求的碎片(像素)。
- 这个过程中,K采样器会帮助您从众多的碎片中挑选出最合适的那些。
4. 草图设计:
- 您现在有了这些碎片,接下来需要进行设计。
- 您开始根据碎片的编号和需求进行草图设计(K采样器步数)。这个步骤中,调度器会帮助您决定如何组合这些碎片,以达到最佳的设计效果。
- 草图的粗糙程度可以通过降噪技术来调整,使设计更加精确和美观。
5. 实物组装:
- 草图设计完成后,您拥有了花瓶的基本结构和样式。
- 但是,草图上的只是线条和碎片编号,还不是真正的花瓶。
- 这时,您会利用VAE编码器来进行最后的组装。VAE编码器会根据您的草图,将对应的碎片(像素)进行组装,生成最终的花瓶实物。
图生图流程
1. 初始图片上传
- 用户上传一张照片作为参考,这张照片可以是一个具体的物体、风景、人物等,它提供了图生图过程的初始形态和细节。
2. 接收需求清单
- 用户输入一系列的正负提示词,作为对生成图片的具体要求或期望。这些提示词可以包括颜色、风格、元素增减等各个方面的描述。
3. 细节还原与碎片提取
- 系统根据您上传的照片,在大模型(即像素碎片库)中寻找与照片细节相匹配的碎片。这些碎片的提取过程确保了原始照片的细节能够得到很好的保留。
4. 设计与制作
- 有了初始照片和用户需求,系统开始根据这些信息进行设计和制作。它会在保持照片原有细节的基础上,根据用户的正负提示词,调整图片的颜色、添加或删除某些元素,以及改变整体风格等。
5. 降噪与重绘幅度调整
- 在这个过程中,降噪设置起到了关键作用。它决定了图片重绘的幅度。当降噪设置为0.几时,表示对原始图片的改动较小,更多地保留了原始细节。而降噪设置的参数越大,系统对图片的重绘幅度就越大,生成的图片与原始图片的差异也就越明显。
6. 最终生成
- 经过上述步骤后,系统最终生成一张既保留了原始照片细节,又符合用户需求的全新图片。这张图片是原始图片与用户需求的完美结合,展现了图生图技术的强大能力。
通过这样的流程,图生图技术能够根据用户提供的照片和需求,生成出既符合用户期望又具有创意的全新图片。这种技术不仅在艺术创作中有着重要的应用价值,也在许多其他领域如设计、广告等中发挥着重要作用。
Checkpoint加载器(pysss)
瑞士军刀:新建节点>加载器>Checkpoint加载器(pysss)
加载模型是分类,适用于模型储存在不同文件夹分类内,模型比较多的小伙伴.
Empty Latent Image
决定潜在空间的图像大小,batch_size批次,就是生成多少张图,K采样器输入输出都需要潜在空间控制。
VAE解码
图片会在潜在空间之后解码
预览图像、保存图像
VAE解码后,今儿可以看到我们的图像了。保存图像路径可以设置,默认存在ComfyUI文件夹下的output内。
CLIP文本编码器
我们输入的是String类型的字符串,然后通过编码传给采样器。
以下节点需要安装插件使用,部分节点输出可能是String,所以需要使用默认CLIP文本编码器在CLIP节点上面右键选择转换为文本输入
当然这种操作可以适用绝大多数节点,就像编程一样,可以把某些节点内的参数转换成变量使用。例如重绘多采样器或者放大操作使用共享相同的随机种子,专门的变量框可以使用元节点,也可以直接拉。
CLIP文本编码器(Argos翻译)
汉化插件:新建节点>ALEK节点>条件
from设置现在的语言to设置要翻译的语言
文本翻译过后是否正确,可以使用预览文字和展示文本节点来查看。下同。
CLIP文本编码器(翻译高级)
汉化插件:新建节点>ALEK节点>条件
form设置auto自动to目标语言
add_proxies可以开启代理
service设置翻译引擎
CLIP文本编码器(翻译)
汉化插件:新建节点>ALEK节点>条件
form设置auto自动to目标语言
manual_translate 手动翻译
字符串操作
瑞士军刀插件:新建节点>实用工具>字符串操作
append追加replace替换
可以提升文本框为变量,然后用翻译文本组合使用,每个翻译文本框里面都可以输入不同的场景,这样逻辑会更加清晰。比如第一个是场景环境,第二个是对人物进行修饰的提示词,还有很多操作。
CLIP文本编码SDXL(优化)
SDXL Prompt Styler插件:新建节点>高级>条件
普通版:宽高,裁剪宽高一般不动,目标宽高。CLIP中的分辨率一般是真实生成图像的倍数关系,一般都是2倍,4倍这种,配个瑞士军刀的数学表达式使用会更简单。
优化:相比普通的CLIP文本编码SDXL,优化适用于二次精炼。
数学表达式
新建节点>实用工具
可以直接作用于空Latent节点输出的宽高。
假设空Latent节点宽高为1024,直接空Latent出连在A上。获取数据就是a.width,此时他就是1024。如果4倍就是a.width * 4。注意在这个里面,不管条件是什么输出的只是一个数,出整数或者浮点直接连接CLIP文本编码SDXL的进宽高就行了。
加载图像
新建节点>图像>加载图像
图片上传输入。mask就是图片蒙版,有可能照片年代久了,有些地方不出清楚了,或者之前有些地方不好看,我们就把它圈起来然他对圈起来的地方重新设计。
使用遮罩后要使用VAE内补码编码器,不然不识别遮罩。
VAE内补码编码器
新建节点>Latent>内补>VAE内补码编码器
相比普通VAE编码多了一个遮罩连接点。
使用遮罩后,注意自己的题词,不然会出现更多的手和脚或者衣服之内的。
图像裁剪
新建节点>图像>变换>图像裁剪
宽高设置,x,y实现裁剪偏移,在右侧菜单栏中更多选项中勾选自动执行(Auto Queue)改变状态。配合图像按系数缩放节点来实现
CLIP设置停止层
对应webui Clip跳过层
WD14反推提示词
新建节点>图像>WD14反推提示词
节点需要插件,并且配置科学,从远程批量下载模型提示词。同时也可以下载模型,本地运行。
在clash中要开启tun转发,在cmd管理员模式下输入上面命令并可开启代理。不会的请参考:AI绘画拉取模型失败,DOS开启代理 | XiSoul Blog's
模型:设置反推提示词模型
置信度:阈值,给的越低,反推出来的提示词越零碎,越详细。阈值越高,就会挑一些主要的提示词描述。角色置信度同理。
排除标签就是反推出来的字符串中有你不想要的,你可以复制粘贴进去。
同时也可以配合瑞士军刀插件字符串操作。
SDXL风格化提示词(高级)
新建节点>实用工具>SDXL风格化提示词(高级)
L偏向于tag,类型人物,座椅板凳这种名词描述,短袖,牛仔裤。
G偏向于风格,形容词,比如形容女性的头发:长发短发,什么颜色。穿着什么样:什么样的短袖,什么样的牛仔裤。
输出为字符串,普通的SDXL需要提供CLIP文本编码器将文本框提升为连接点,SDXL风格化提示词(高级)需要提供CLIP文本编码器SDXL。
SDXL默认加载一个offset的Lora,进行光线调节。使用风格化提示词,简单的图像也可以没必要使用offset的Lora。
负面词应用可以控制只应用G或者L。
ControlNet应用
ControlNet应用(高级)
新建节点>条件
高级和普通相比,多了开始时间和结束时间,连接点方面分为正负输出。
图像不能直接输入给ControlNet应用,需要安装预处理组件
## Aux集成预处理器
ControlNet插件:新建节点>ControlNet预处理器
方便简单调用各种预处理器
Lora加载器
Lora加载器(pysss)
瑞士军刀:新建节点>加载器
相比普通的,加载Lora方便文件夹内模型管理
二、快捷操作
Keybind | Explanation |
---|---|
Ctrl + Enter | 出图 |
Ctrl + Z/Ctrl + Y | 撤销 |
Ctrl + S | 保存工作流 |
Ctrl + O | 载入工作流 |
Ctrl + A | 选择所有节点 |
Alt + C | 折叠所选节点 |
Ctrl + M | 屏蔽/取消屏蔽节点 |
Ctrl + B | 穿过所选节点(就像此节点不存在,连线会穿越节点) |
Delete/Backspace | 删除节点 |
Ctrl + Delete/Backspace | 清空界面 |
Space | 按住之后画布会随着鼠标移动 |
Ctrl/Shift + Click | 多选 |
Ctrl + C/Ctrl + V | 复制粘贴节点 |
Ctrl + C/Ctrl + Shift + V | 保持连线复制粘贴 |
Shift + Drag | 同时移动多个节点 |
Ctrl + D | 加载默认工作流 |
Q | 切换队列可见性 |
H | 切换出图历史可见性 |
R | 刷新界面 |
双击 | 打开节点搜索界面 |
多选:按住ctrl+鼠标拖动
多选后可以右键创建模板组
鼠标中间可以添加中转节点(理线器)
三、功能操作
放大缩放
空间内放大
潜空间前放大
Latent缩放
指定宽高倍数,粗暴放大,只是尺寸变大。
Latent按系数缩放
指定倍数,粗暴放大,二次采样注意重绘幅度。
模型方法
放大模型加载器
新建节点>图像>放大>图像通过模型放大
放大中图像缩放,图像按系数缩放也是粗暴放大
4x-UltraSharp.pth
SD放大
新建节点>图像>放大>SD放大
SD放大节点混合了采样器采用区块式和webui一样。
区块大小自定义,区块模糊就是边缘羽化大小,分块分区通常默认。
接缝修复模式通常采用Band Pass效果较强,Half Tile比较弱。Half Tile+Intersections效果折中。如果不选默认为none会不起作用。
SD放大(不放大)少一个,方法模型连接点。用于二次采样二次修复
遮罩
新建节点>遮罩>加载图像遮罩
这个操作是直接在潜空间里面拿图,不需要二次采样
新建节点>Latent>内补>设置Latent噪波遮罩
可以直接遮罩连接点向旁边拖选择设置Latent噪波遮罩,然后直接使用上一个K采样器输出的Latent然后输出到下一个K采样器
反向
CLIP视觉加载器输入到CLIP视觉编码,同时将图像也输入。输出unCLIP条件也可以利用提示词传给条件零化然后传给unCLIP条件,再然后直接传给K采样器。这个过程可以利用多CLIP视觉编码进行风格化图片等等。
- 感谢你赐予我前进的力量