首页教程
【Stable Diffusion进阶教程】如何在Stable Diffusion中使用嵌入
15

【Stable Diffusion进阶教程】如何在Stable Diffusion中使用嵌入

AI知识学习小助手
AI知识学习小助手
2023-08-03 16:45

嵌入,也称为文本反转,是在Stable Diffusion中控制图像风格的另一种方法。 我们将回顾什么是嵌入、在哪里找到它们以及如何使用它们。

什么是嵌入?

嵌入是文本反转的结果,是一种在模型中定义新关键字而不修改模型的方法。 该方法之所以受到关注,是因为它能够用少至 3 -5 个样本图像向模型注入新的样式或对象。

文本倒置是如何工作的?

文本反转的惊人之处不在于添加新样式或对象的能力——其他微调方法也可以做到这一点,甚至更好。 事实上,它可以在不改变模型的情况下做到这一点。

下面转载的原始研究文章中的图表说明了它的工作原理。

首先,为新对象或样式定义一个不在模型中的新关键字。 该新关键字将被标记化(由数字表示),就像提示中的任何其他关键字一样。

然后,每个标记都会转换为唯一的嵌入向量,供模型用于图像生成。

文本反演找到最能代表新样式或对象的新关键字的嵌入向量,而不更改模型的任何部分。 您可以将其视为在语言模型中寻找一种方法来描述新概念。

嵌入的示例

嵌入可用于新对象。 下面是注射玩具猫的示例。 请注意,新概念(玩具猫)可以与模型中的其他现有概念(船、背包等)一起使用。

嵌入也可以是一种新的样式。 下面的示例显示了嵌入新样式并将样式传输到不同的上下文。

在哪里可以找到嵌入

Hugging Face 托管Stable Diffusion概念库,它是大量自定义嵌入的存储库。

Civtai 是另一个很棒的网站,您可以浏览模型,包括嵌入。 使用文本反转进行过滤以仅查看嵌入。

如何使用嵌入

网页界面

Stable Diffusion Conceptualizer 是无需下载即可尝试嵌入的好方法。

首先在概念库中确定要测试的嵌入。 假设您想使用 Marc Allante 风格。 接下来,确定触发此样式所需的令牌。 您可以在文件 token_identifier.txt 中找到它,即 <Marc_Allante>。

输入提示

<Marc_Allante> a dog

为您带来独特的 Marc Allante 风格。

Web 界面的缺点是您无法使用不同模型的嵌入或更改任何参数。

AUTOMATIC1111

在 AUTOMATIC1111 中使用嵌入非常简单。

首先,从概念库下载嵌入文件。 它是名为 learn_embedds.bin 的文件。 确保不要右键单击并保存在下面的屏幕中。 这将保存它链接到的网页。 单击文件名,然后单击下一页的下载按钮。

接下来,将文件重命名为您想要使用此嵌入的关键字。 它必须是模型中不存在的东西。 marc_allante.bin 是一个不错的选择。

将其放入 GUI 工作目录的 embeddings 文件夹中:stable-diffusion-webui/embeddings

重新启动图形用户界面。 在启动终端中,您应该看到类似以下的消息:

总共加载了 1 个文本反转嵌入。 嵌入:marc_allante

使用文件名作为提示的一部分

例如,以下提示适用于 AUTOMATIC1111。

(marc_allante:1.2) a dog

我们得到了具有预期风格的图像。

在 AUTOMATIC1111 中使用嵌入的快捷方式

即使只有一个字母,嵌入也不起作用。 此外,您不能将 v1 嵌入与 v2 一起使用,反之亦然——它们使用两种不同的语言模型。

您是否想知道如何确保您确实在使用嵌入? 这可能很难说,因为它的影响有时是微妙的。

AUTOMATIC1111 有一个小技巧可以确保这一点。 垃圾桶和复制按钮之间有一个按钮,看起来像一个小 ipod。

单击它,您将看到所有可用的嵌入。 它们都位于“文本反转”选项卡下。

单击其中任何一个都会将其插入到提示中。 此功能对于消除确保正确输入嵌入魔词的繁琐工作特别有用。

在 AUTOMATIC1111 中使用嵌入的注意事项

如果您注意提示,您会注意到我增加了触发关键字 marc_allante 的强度。 我发现有必要调整关键词强度。 这可能与 AUTOMATIC1111 加载嵌入的方式有关。

您可能需要调整关键字强度才能获得您想要的效果。 下面是一个在保持种子和其他所有内容相同的情况下改变强度的示例。

更复杂的是,不同的种子值所需的强度可能不同。

一些我喜欢的嵌入

有很多可用的嵌入,我无法尝试。 这是我发现的一些我喜欢的。

wlop_风格

如果你玩过Stable Diffusion基础模型,你会发现无论你如何努力都无法生成wlop的风格。 与自定义模型一起嵌入最终可以做到这一点。

wlop_style 嵌入能够渲染艺术家 wlop 的一些漂亮的插图风格。 它应该与 SirVeggie 的 wlop-any 自定义模型一起使用。

直接下载链接 – wlop_style 嵌入

直接下载链接 – wlop-任何型号

如果你尝试一下,你可能会发现它根本不起作用。 您需要做的是调整提示强度。

AUTOMATIC1111 的工作提示是

(wlop_style :0.6) (m_wlop:1.4) woman wearing dress, perfect face, beautiful detailed eyes, long hair, birds

负面提示:closed eyes, disfigured, deformed

wlop_style 是嵌入的关键字,m_wlop 是模型的关键字。

如果您没有掌握这种风格,请不要感到沮丧。 尝试更改两个关键字的提示强度。 有些对象可能根本不适合嵌入。 尝试 wlop 作品中的一些常见物品。

Kuvshinov

库夫希诺夫(Kuvshinov)是一幅俄罗斯插画。 您可以将 kuvshinov 嵌入与 Stable Diffusion v1.4 一起使用。

直接下载链接

提示: (_kuvshinov:1), a woman with beautiful detailed eyes, highlight hair

否定提示:disfigured, deformed

(注意我已将嵌入重命名为 _kuvshinov.bin)

嵌入、dreambooth 和超网络之间的区别

微调Stable Diffusion模型有三种流行的方法:文本反转(嵌入)、dreambooth 和超网络。

嵌入定义了新的关键字来描述新概念而不改变模型。 嵌入向量存储在 .bin 或 .pt 文件中。 它的文件大小非常小,通常小于100 kB。

Dreambooth通过对整个模型的微调,注入了新的概念。 文件大小是Stable Diffusion的典型文件大小,大约 2 – 4 GB。 文件扩展名与其他型号相同,ckpt。

超网络是附加到Stable Diffusion模型的去噪 UNet 上的附加网络。 目的是在不改变模型的情况下微调模型。 文件大小通常约为 100 MB。

使用嵌入的优点和缺点

使用嵌入的优点之一是其尺寸小。 文件大小为 100 KB 或更小,可以轻松地将多个文件存储在本地存储中。 因为嵌入只是新的关键字,所以它们可以在同一图像中一起使用。

使用嵌入的缺点是有时不清楚它应该与哪个模型一起使用。 如果培训师没有说,你可以从v1.4或v1.5开始。 您可能还想包括 VAE,看看这是否有什么不同。 对于动漫风格,训练师使用像 Anything v3 这样的动漫模型并不罕见。

一般来说,我发现使用嵌入比使用自定义模型更困难一些。 我无法在下载的许多嵌入中重现演示样式。 确实,如果我不断调整关键词的强度,我可能会到达那里,但实际上人们在几次尝试后就会继续前进。

转载自查看原文
合集导航
合集
# 1 【Stable Diffusion进阶教程】After Detailer:自动修复面面部
# 2 【Stable Diffusion进阶教程】如何运行 SDXL 模型
# 3 【Stable Diffusion进阶教程】加速Stable Diffusion
# 4 【Stable Diffusion进阶教程】Stable Diffusion中控制光照的 3 种方法
# 5 【Stable Diffusion进阶教程】在Stable Diffusion中放大图像的 3 种方法(ControlNet 平铺放大、SD 放大、AI 放大)
# 6 【Stable Diffusion进阶教程】负面提示如何发挥作用?
# 7 【Stable Diffusion进阶教程】Stable Diffusion如何发挥作用?
# 8 【Stable Diffusion进阶教程】Stable Diffusion工作流程(分步示例)
# 9 【Stable Diffusion进阶教程】Stable Diffusion2中的图像深度:您需要了解的一切
# 10 【Stable Diffusion进阶教程】区域提示器:控制Stable Diffusion中的图像合成
# 11 【Stable Diffusion进阶教程】如何使用Stable Diffusion (Deforum) 制作视频
# 12 【Stable Diffusion进阶教程】Stable Diffusion SDXL Beta 模型
# 13 【Stable Diffusion进阶教程】Stable Diffusion采样器:综合指南
# 14 【Stable Diffusion进阶教程】Midjourney 与 Stable Diffusion您应该选择哪一个?
# 15 【Stable Diffusion进阶教程】什么是超网络以及您应该了解的超网络
# 16 【Stable Diffusion进阶教程】如何在Stable Diffusion中使用嵌入
# 17 【Stable Diffusion进阶教程】如何使用Stable Diffusion将照片卡通化
# 18 【Stable Diffusion进阶教程】如何使用 Dreambooth 将任何东西放入Stable Diffusion(Colab 笔记本)
# 19 【Stable Diffusion进阶教程】如何使用AI图像放大器来改善细节
# 20 【Stable Diffusion进阶教程】WebUI AUTOMATIC1111:初学者指南
# 21 【Stable Diffusion进阶教程】什么是 LoRA 模型以及如何在 AUTOMATIC1111 中使用它们
# 22 【Stable Diffusion进阶教程】ControlNet v1.1:完整指南
# 23 【Stable Diffusion进阶教程】如何使用 Stable Diffusion AI 对图像进行风格化
# 24 【Stable Diffusion进阶教程】利用图像 AI 生成时尚创意的 4 种方法
# 25 【Stable Diffusion进阶教程】使用Stable Diffusion制作动画 GIF(分步)
# 26 【Stable Diffusion进阶教程】AI 图像中的常见问题及其解决方法
# 27 【Stable Diffusion进阶教程】使用这些简单的提示技巧微调您的 AI 图像
# 28 【Stable Diffusion进阶教程】如何通过Stable Diffusion修复去除多余的肢体
# 29 【Stable Diffusion进阶教程】如何使用outpainting来扩展图像
# 30 【Stable Diffusion进阶教程】如何在 Google Colab 上运行稳定扩散 (AUTOMATIC1111)
 

全部讨论

no data来都来了,坐下聊聊