首页教程
【Stable Diffusion进阶教程】什么是 LoRA 模型以及如何在 AUTOMATIC1111 中使用它们
5

【Stable Diffusion进阶教程】什么是 LoRA 模型以及如何在 AUTOMATIC1111 中使用它们

AI知识学习小助手
AI知识学习小助手
2023-08-04 14:10

LoRA 模型是小型Stable Diffusion模型,对标准检查点模型进行微小的更改。它们通常比检查点模型小 10 到 100 倍。这使得它们对于拥有大量模型的人们非常有吸引力。

这是针对之前没有使用过 LoRA 模型的初学者的教程。您将了解 LoRA 模型是什么、在哪里可以找到它们以及如何在 AUTOMATIC1111 GUI 中使用它们。然后你会在最后找到一些 LoRA 模型的演示。

LoRA 模型是什么?

LoRA(低阶适应)是一种用于微调Stable Diffusion模型的训练技术。

但我们已经有了Dreambooth文本倒排等训练技术。LoRA 有什么大不了的?LoRA 在文件大小和训练能力之间提供了良好的权衡。Dreambooth 功能强大,但会产生较大的模型文件(2-7 GB)。文本反转很小(大约 100 KB),但您不能做那么多。

LoRA 位于两者之间。它的文件大小更易于管理(2 – 200 MB),并且训练能力也不错。

喜欢尝试模型的Stable Diffusion 用户可以告诉您他们的本地存储填满的速度有多快。由于体积较大,很难用个人计算机来维护收藏。LoRA 是解决存储问题的绝佳解决方案。

与文本反演一样,不能 单独使用 LoRA 模型。它必须与模型检查点文件一起使用。LoRA 通过对附带的模型文件进行小的更改来修改样式。

LoRA 是如何工作的?

LoRA 对Stable Diffusion模型最关键的部分进行了微小的改变:交叉注意力层它是模型中图像和提示相遇的部分。研究人员发现,微调模型的这一部分就足以实现良好的训练。交叉注意力层是下面Stable Diffusion模型架构中的黄色部分。

LORA 微调交叉注意力层(U-Net 噪声预测器的 QKV 部分)。(图来自Stable Diffusion论文。) 交叉注意力层的权重排列在矩阵中。矩阵只是按列和行排列的一堆数字,就像 Excel 电子表格一样。LoRA 模型通过将权重添加到这些矩阵来微调模型。

如果需要存储相同数量的权重,LoRA模型文件如何才能更小?LoRA 的技巧是将矩阵分解为两个较小的(低秩)矩阵。通过这样做,它可以存储更少的数字。让我们用下面的例子来说明这一点。

假设该模型有一个包含 1,000 行和 2,000 列的矩阵。模型文件中需要存储 2,000,000 个数字 (1,000 x 2,000)。LoRA 将矩阵分解为 1,000×2 矩阵和 2×2,000 矩阵。这只有 6,000 个数字 (1,000 x 2 + 2 x 2,000),少了 333 倍。这就是 LoRA 文件小得多的原因。

LoRA 将一个大矩阵分解为两个小的低秩矩阵。

在这个例子中,矩阵的为2。它比原始维度低得多,因此称为低秩矩阵。排名可以低至 1。

但这样的伎俩有什么害处吗?研究人员发现,在交叉注意力层中这样做并不会影响微调的能力。所以我们很好。

哪里可以找到 LoRA 模型?

Civita

Civita 上的 LoRA 模型。

寻找 Lora 的首选地点是Civitai。该网站拥有大量 LoRA 模型。应用 LORA 过滤器仅查看 LoRA 模型。你可能会发现它们都趋于相似:女性肖像、动漫、写实插画风格等。

(请注意,Civitai 上有很多 NSFW 内容。如果您不想看到无法隐藏的内容,请务必使用 NSFW 过滤器……)

Hugging Face 上的 LoRA 模型。

抱脸

Hugging Face 是 LoRA 库的另一个很好的来源。您会发现更多种类的 LoRA 模型。但那里的 LoRA 模型并不多。他们的收藏要小得多。

在 Hugging Face 中搜索 LoRA 模型

拥抱中的 LoRA 库

如何使用LoRA?

在本节中,您将找到在AUTOMATIC1111稳定扩散 GUI中使用 LoRA 模型的说明。您可以在WindowsMacGoogle Colab上使用此 GUI 。

AUTOMATIC1111 本身支持 LoRA。您不需要安装任何扩展。

第1步:安装LoRA模型

要在 AUTOMATIC1111 webui 中安装 LoRA 模型,请将模型文件放在以下文件夹中。

stable-diffusion-webui/models/Lora 第2步:使用LoRA模型

要使用 LoRA 模型,请在提示中输入以下短语。

lora:filename:multiplier filename是 LoRA 模型的文件名,不包括扩展名(.pt.bin等)。

multiplier是应用于 LoRA 模型的权重。默认值为 1。将其设置为 0 将禁用该模型。

你如何确定文件名是正确的?您应该单击模型按钮,而不是编写此短语。

单击“劳拉”选项卡。您应该会看到已安装的 LoRA 模型的列表。单击您要使用的那个。

LoRA 短语将插入到提示中。

就是这样!

LoRA使用注意事项

您可以调整乘数来调高或调低效果。将乘数设置为 0 会禁用 LoRA 模型。您可以在 0 和 1 之间调整样式效果。

一些 LoRA 模型是使用Dreambooth进行训练的。您需要包含一个触发关键字才能使用 LoRA 模型。您可以在模型页面上找到触发关键字。

与嵌入类似,您可以同时使用多个LoRA模型。您还可以将它们与嵌入一起使用。

在 AUTOMATIC1111 中,LoRA 短语不是提示的一部分。LoRA模型应用后将被移除。这意味着您不能将[keyword1:keyword2: 0.8] 之类的提示语法与它们一起使用。

一些LoRA模型

这是我对 LoRA 模型的有偏见的选择。

舒克祖马

Shukezouma LoRA模型带出时尚的中国水墨主题。舒克走玛是指画作中的留白空间(中国画中常见)足够大,足以让马穿过它。

Shukezouma LoRA 模型页面

与中国风模特郭峰一起使用这款LoRA 。

触发关键词:舒克祖玛

提示词:

(shukezouma:0.5) ,lora:Moxin_Shukezouma:1 ,中国画,半身,女性,完美对称脸,细致的汉服,山,花,1girl,老虎

否定提示:

毁容、丑陋、不好、不成熟

舒克祖玛 LoRA 模型。

高田明美 (1980 年代) 风格

高田明美(Akemi Takada)是一位日本漫画插画家。如果您喜欢 20 世纪 80 年代和 90 年代的日本动漫,这就是为您准备的。

LoRA模型页面

与AbyssOrangeMix2 型号一起使用。

提示词:

高田明美,蒂法·洛克哈特作为魔术师,最终幻想VII,1girl,小ru房,美丽的眼睛,棕色头发,微笑,红眼睛,高清晰度,钻石耳环,长发,侧分头发,耳后头发,上半身,时尚连衣裙,室内、酒吧 80 年代(风格)、绘画(中)、复古艺术风格、水彩(中)lora:akemiTakada1980sStyle_1:0.6

负面提示:

(最差质量,低质量:1.4),(坏艺术家动漫绘画:0.9),(坏艺术家绘画:0.9),水印,文本,错误,模糊,jpeg 伪影,裁剪,质量最差,质量低、正常质量、jpeg 伪影、签名、水印、用户名、艺术家姓名、不良解剖学

赛博朋克2077塔罗牌

这个 LoRA 模型生成了具有未来赛博朋克风格的机器人和城市。

LoRA模型页面

与Anything v4.5 模型一起使用。

提示词:

赛博朋克, 塔罗牌, 特写, 肖像, 仿生身体, 猫, 年轻人, 完美的人体对称脸, 皮革金属夹克, 电路, 背景城市街道, 自然采光, 杰作 lora:cyberpunk2077Tarot_tarotCard512x1024:0.6

负面提示:

(最差质量,低质量:1.4),(坏艺术家动漫绘画:0.9),(坏艺术家绘画:0.9),水印,文本,错误,模糊,jpeg 伪影,裁剪,质量最差,质量低、正常质量、jpeg 伪影、签名、水印、用户名、艺术家姓名、不良解剖结构、大ru房

概括

LoRA 模型是检查点模型的小修改。您可以通过在提示中包含短语来轻松地在 AUTOMATIC1111 中使用它们。

今天就这样!我将在以后的文章中告诉您如何训练 LoRA 模型。

以下是一些供好奇的人阅读的附加读物。

转载自查看原文
合集导航
合集
# 1 【Stable Diffusion进阶教程】After Detailer:自动修复面面部
# 2 【Stable Diffusion进阶教程】如何运行 SDXL 模型
# 3 【Stable Diffusion进阶教程】加速Stable Diffusion
# 4 【Stable Diffusion进阶教程】Stable Diffusion中控制光照的 3 种方法
# 5 【Stable Diffusion进阶教程】在Stable Diffusion中放大图像的 3 种方法(ControlNet 平铺放大、SD 放大、AI 放大)
# 6 【Stable Diffusion进阶教程】负面提示如何发挥作用?
# 7 【Stable Diffusion进阶教程】Stable Diffusion如何发挥作用?
# 8 【Stable Diffusion进阶教程】Stable Diffusion工作流程(分步示例)
# 9 【Stable Diffusion进阶教程】Stable Diffusion2中的图像深度:您需要了解的一切
# 10 【Stable Diffusion进阶教程】区域提示器:控制Stable Diffusion中的图像合成
# 11 【Stable Diffusion进阶教程】如何使用Stable Diffusion (Deforum) 制作视频
# 12 【Stable Diffusion进阶教程】Stable Diffusion SDXL Beta 模型
# 13 【Stable Diffusion进阶教程】Stable Diffusion采样器:综合指南
# 14 【Stable Diffusion进阶教程】Midjourney 与 Stable Diffusion您应该选择哪一个?
# 15 【Stable Diffusion进阶教程】什么是超网络以及您应该了解的超网络
# 16 【Stable Diffusion进阶教程】如何在Stable Diffusion中使用嵌入
# 17 【Stable Diffusion进阶教程】如何使用Stable Diffusion将照片卡通化
# 18 【Stable Diffusion进阶教程】如何使用 Dreambooth 将任何东西放入Stable Diffusion(Colab 笔记本)
# 19 【Stable Diffusion进阶教程】如何使用AI图像放大器来改善细节
# 20 【Stable Diffusion进阶教程】WebUI AUTOMATIC1111:初学者指南
# 21 【Stable Diffusion进阶教程】什么是 LoRA 模型以及如何在 AUTOMATIC1111 中使用它们
# 22 【Stable Diffusion进阶教程】ControlNet v1.1:完整指南
# 23 【Stable Diffusion进阶教程】如何使用 Stable Diffusion AI 对图像进行风格化
# 24 【Stable Diffusion进阶教程】利用图像 AI 生成时尚创意的 4 种方法
# 25 【Stable Diffusion进阶教程】使用Stable Diffusion制作动画 GIF(分步)
# 26 【Stable Diffusion进阶教程】AI 图像中的常见问题及其解决方法
# 27 【Stable Diffusion进阶教程】使用这些简单的提示技巧微调您的 AI 图像
# 28 【Stable Diffusion进阶教程】如何通过Stable Diffusion修复去除多余的肢体
# 29 【Stable Diffusion进阶教程】如何使用outpainting来扩展图像
# 30 【Stable Diffusion进阶教程】如何在 Google Colab 上运行稳定扩散 (AUTOMATIC1111)
 

全部讨论

no data来都来了,坐下聊聊