什么是Lora训练?
通畅AI 先根据文本生成图像,接着和训练集图像对比,根据差异调整参数,让生成图像接近训练图像,最终使微调模型的结果和训练图片一致,让 AI 生成图与训练集关联,最终越来越像。
Lora有什么用?
Lora在不改变大模型核心权重的情况下,可以对画面进行微调。仅需对 Lora 进行调整,就能生成特定的图像,无需对整个大模型进行调节。当面对 AI 从未接触过的图片时就需要用到Lora 微调,使得 AI 绘画有一定的”可控性“。
在训练过程中,可以通过打标签的方式来辅助模型训练识别图片内容哦~
标签需要体现图片中的特征,比如训练人物时可用人名当标签,或者一个特定的词语当标签,这样,AI 会把识别不到的内容归类到特殊的标签中,从而提高模型对特定内容的学习和识别能力。
如何训练Lora?
选择基础算法类型
SDXL训练完后的效果,整体会比SD1.5的好一些。
同样的步数下,DXL消耗的资源是SD1.5的三倍。
参数设置
选择底模:
可在startAI的模型中心,查看模型的预览图片,再根据您自身的需求选择对应的模型作为底模。
设置单张次数与循环轮次:
单张次数:对单张素材学习的次数,次数越多,学习效果越好,但次数多也会造成图片固化。
循环次数:一个循环轮次=训练图片的数量*单张次数。例如,训练图片有 10 张,单张次数 为 10,则一个轮次训练 100 步。若循环次数设置为 10,Lora 训练共 1000 步。
图片打标/裁剪
上传训练图集:
图片特征明显
512像素≤图片素材的宽高尺寸≤1024像素
图片尽量不要有文字、水印
图片只支持使用png、jpg、jpeg格式
训练图片数量为20-30张
如果您使用的图片数量较多,请保证图片特征一致
裁剪/打标
聚焦裁剪:识别图片主体后进行裁剪。
中央裁剪:以图片中央区域进行裁剪。
无需裁剪:不进行裁剪。
若您选择无需裁剪,请尽量保证图片符合需求。
裁剪尺寸:可以根据您上传的图片尺寸选择合适的裁剪尺寸。
打标签:给图片添加文字说明,可帮助 AI 识别与学习图片内容。
打标阈值:阈值越小描述就越精准,如果是生成人物,推荐为0.8;其他情况为0.3。
模型触发词:您可以自由输入触发词内容,用来体现出训练图片的特征。
注意:仅支持英文字母。
以上内容设置完成后,点击裁剪/打标按钮即可完成。
调整每张图片的打标内容
温馨提示:您可以选择跳过这一步。
删除标签:在对应标签后面点击“×”按钮即可删除。
为当前图片添加新标签:在标签末尾添加文字后按下回车键(enter)按钮即可添加新标签。
为所有图片添加新标签:在“为所有图片添加”输入栏中,输入标签后按下回车键(enter),在输入完所有标签内容后,点击“添加到行首”或“添加到行尾”,即可为所有图片添加这些标签。
发布lora
lora训练完成后,点击“发布模型”
选择好正确的模型类型与基础模型
确认高级参数中,触发词内容正确。
点击发布即可。
© 版权声明
文章版权归作者所有,未经允许请勿转载。