首页教程
【Stable Diffusion进阶教程】Stable Diffusion SDXL Beta 模型
1

【Stable Diffusion进阶教程】Stable Diffusion SDXL Beta 模型

AI知识学习小助手
AI知识学习小助手
2023-08-03 14:59

Stable Diffusion Web UI(简称 AUTOMATIC1111 或 A1111)是高级用户事实上的 GUI。感谢充满热情的社区,大多数新功能首先出现在这个免费的稳定扩散 GUI 中。但它并不是最容易使用的软件。缺乏文档。它提供的大量功能可能令人生畏。

本指南将教您如何使用 AUTOTMATIC1111 GUI。您可以将其用作教程。有很多示例您可以逐步遵循。

您还可以使用本指南作为参考手册。跳过它,看看里面有什么。当你真正需要使用某个功能时再回来。

你会看到很多例子来展示设置的效果,因为我相信这是唯一能说明问题的方法。

下载并安装 Web UI

您可以在 Windows、Mac 或 Google Colab 上使用 Stable Diffusion Web UI。

请阅读快速入门指南来决定使用哪种Stable Diffusion。

文本转图像选项卡

首次启动 GUI 时,您将看到txt2img选项卡。此选项卡执行稳定扩散最基本的功能:将文本提示转换为图像。

基本用法

如果这是您第一次使用 AUTOMATIC1111,您可能需要更改这些设置。

稳定扩散检查点:选择您想要的模型。首次使用的用户可以使用v1.5 基础模型

提示:描述您想在图像中看到的内容。下面是一个例子。请参阅完整的提示构建指南以获取教程。

萨尔瓦多·达利的超现实主义猫画 宽度和高度:输出图像的尺寸。使用 v1 模型时,您应该至少将一侧设置为 512 像素。例如,对于长宽比为 2:3 的肖像图像,将宽度设置为 512,高度设置为 768。

批量大小:每次生成的图像数量。在测试提示时您希望至少生成一些提示,因为每个提示都会有所不同。

最后,点击生成按钮。稍等片刻后,您将获得图像!

默认情况下,您将获得复合缩略图的附加图像。

您可以将图像保存到本地存储。首先,使用主图像画布下方的缩略图选择图像。右键单击图像以显示上下文菜单。您应该可以选择保存图像或将图像复制到剪贴板。

这就是您需要了解的所有基础知识!本节的其余部分更详细地解释每个功能。

图像生成参数

稳定扩散检查点是一个用于选择模型的下拉菜单。您需要将模型文件放入文件夹>>stable-diffusion-webui中 。查看有关安装模型的更多信息。modelsStable-diffusion

下拉菜单旁边的刷新按钮用于刷新模型列表。当您刚刚将新模型放入模型文件夹并希望更新列表时使用它。

提示文本框:输入您想在图像中看到的内容。详细且具体。使用一些经过验证的关键字。您可以在此处找到简短列表,也可以在提示生成器中找到更详细的列表。

否定提示文本框:输入您不想看到的内容。使用 v2 模型时应该使用否定提示。您可以使用通用否定提示。有关详细信息,请参阅这篇文章

采样方法:去噪过程的算法。我使用DPM++ 2M Karras因为它很好地平衡了速度和质量。请参阅本节了解更多详细信息。您可能希望避免任何祖先采样器(带有 a 的采样器,因为即使在较大的采样步长下,它们的图像也不稳定。这使得调整图像变得困难。

采样步骤:去噪过程的采样步骤数。越多越好,但也需要更长的时间。25 个步骤适用于大多数情况。

宽度和高度:输出图像的尺寸。对于 v1 模型,您应该至少将一侧设置为 512 像素。例如,对于长宽比为 2:3 的肖像图像,将宽度设置为 512,高度设置为 768。使用 v2-768px 模型时,至少将一侧设置为 768。

批次计数:运行图像生成管道的次数。

批量大小:每次运行管道时生成的图像数量。

生成的图像总数等于批次计数乘以批次大小。您通常会更改批量大小,因为它更快。仅当遇到内存问题时,您才会更改批次计数。

CFG 比例分类器自由指导比例 是一个参数,用于控制模型应尊重您的提示的程度。

1 – 大多忽略您的提示。 3 – 更有创意。 7 – 遵循提示和自由之间的良好平衡。 15 – 更加遵守提示。 30 – 严格按照提示操作。

下图显示了使用固定种子值更改 CFG 的效果。您不想将 CFG 值设置得太高或太低。如果 CFG 值太低,稳定扩散将忽略您的提示。太高时图像的颜色会饱和。

种子

Seed:用于在潜在空间中生成初始随机张量的种子值。实际上,它控制图像的内容。生成的每个图像都有自己的种子值。如果设置为 -1,AUTOMATIC1111 将使用随机种子值。

修复种子的一个常见原因是修复图像的内容并调整提示。假设我使用以下提示生成了图像。

女人,衣服,城市夜景背景的照片

我喜欢这张图片,并且想调整提示以将手镯添加到她的手腕上。您将把种子设置为该图像的值。种子值位于图像画布下方的日志消息中。

将此值复制到种子值输入框中。或者使用回收按钮复制种子值。

现在将术语“手镯”添加到提示中

女人、裙子、城市夜景背景、手镯的照片

你会得到一张类似的照片,她的手腕上戴着手镯。

场景可能会完全改变,因为某些关键词的强度足以改变构图。您可以在稍后的采样步骤中尝试交换关键字

使用骰子图标将种子设置回 -1(随机)。

额外的种子选项

选中“额外”选项将显示“额外种子”菜单。

变异种子:您要使用的附加种子值。

变异强度:种子变异种子之间的插值程度。将其设置为 0 使用种子值。将其设置为 1 使用变异种子值。

这是一个例子。假设您根据相同的提示和设置生成了 2 个图像。它们有自己的种子值 1 和 3。

您想要生成这两个图像的混合。您可以将种子设置为 1,将变化种子设置为 3,并在 0 和 1 之间调整变化强度。在下面的实验中,变化强度允许您在两个种子之间产生图像内容的过渡。当变化强度从0增加到1时,女孩的姿势和背景逐渐变化。

从宽度/高度调整种子大小:如果更改图像大小,即使使用相同的种子,图像也会发生巨大变化。此设置尝试在调整图像大小时修复图像的内容。您将在宽度高度滑块中输入新尺寸,并在此处输入原始图像的宽度和高度。将原始种子值放入种子输入框中。将变异强度设置为 0 以忽略变异种子。

假设您喜欢这张尺寸为 512×800、种子值为 3 的图像。

当您更改图像尺寸时,即使保持相同的种子值,构图也会发生巨大变化。

512×600

当您从高度和宽度设置中打开调整大小种子时,您将获得更接近原始尺寸的新尺寸。它们并不完全相同,但很接近。

512×600

恢复面孔

恢复面部应用一个额外的模型,该模型经过训练可以恢复面部缺陷。以下是之前和之后的示例。

原来的

在使用Restore Faces之前,您必须指定要使用的面部恢复模型。首先,访问“设置”选项卡。导航至面部恢复部分。选择面部修复模型。CodeFormer是一个不错的选择。将 CodeFormer 权重设置为 0 以获得最大效果。请记住单击“应用设置”按钮来保存设置!

返回到txt2img选项卡。检查恢复面。面部恢复模型将应用于您生成的每张图像。

如果您发现应用程序影响面部风格,您可能需要关闭面部恢复。或者,您可以增加 CodeFormer 权重参数来减少影响。

平铺

使用“平铺”选项可生成可平铺的周期性图像。下面是一个例子。

花朵图案

该图像可以像壁纸一样平铺。

使用稳定扩散的真正宝藏是允许您创建任何图像的图块,而不仅仅是传统图案。您所需要的只是提供一个文本提示。

雇用。使固定。

高分辨率修复选项应用升频器来放大图像。您需要这个,因为稳定扩散的原始分辨率是 512 像素(或某些 v2 模型为 768 像素)。对于许多用途而言,图像太小。

为什么不能将宽度和高度设置得更高,例如 1024 像素?偏离原始分辨率会影响构图并产生诸如用两个头生成图像之类的问题。

所以你必须首先生成一张两边都是 512 像素的小图像。然后将其放大到更大。

检查招聘情况。修复以启用高分辨率修复。

升频器:选择要使用的升频器。请参阅这篇文章了解入门知识。

各种潜在放大选项可在潜在空间中缩放图像。它是在文本到图像生成的采样步骤之后完成的。该过程类似于图像到图像

其他选项包括传统和人工智能升级器的组合。有关详细信息,请参阅 AI 升级器文章。

雇用步骤:仅适用于潜在的升级者。它是放大潜在图像后的采样步骤数。

去噪强度:仅适用于潜在的放大者。该参数与图像到图像中的含义相同。它控制在执行 Hires 采样步骤之前添加到潜在图像的噪声。

现在让我们看看使用Latent作为放大器将下面的图像放大到 2 倍的效果。

0.4

0.65

由于某种原因,它必须大于 0.5 才能获得清晰的图像。设置得太高会使图像发生很大变化。

使用潜在升级器的好处是不会出现其他升级器(如 ESRGAN)可能引入的升级伪影。稳定扩散解码器生成图像,确保风格一致。缺点是它会在一定程度上改变图像,具体取决于去噪强度的值。

放大因子控制图像的放大倍数。例如,将其设置为 2 会将 512 x 768 像素图像缩放为 1024 x 1536 像素。

或者,您可以指定“调整宽度为”“调整高度为”的值来设置新的图像尺寸。

您可以使用 ESRGAN 等 AI 升级器来避免设置正确的去噪强度的麻烦。一般来说,将 txt2img 和放大分为两个步骤可以为您提供更大的灵活性。我不使用高分辨率修复选项,而是使用额外页面进行升级。

生成按钮下的按钮

从左到右:

  1. 读取最后一个参数:它将填充所有字段,以便您在按下“生成”按钮时生成相同的图像。请注意,将设置种子和模型覆盖。如果这不是您想要的,请将种子设置为 -1 并删除覆盖。

2.垃圾桶图标:删除当前提示和否定提示。

3.模型图标:显示额外的网络。此按钮用于将超网络、嵌入LoRA短语插入提示中。

您可以使用以下两个按钮来加载和保存提示和否定提示。该集合称为样式。它可以是一个简短的短语,例如艺术家的名字,也可以是完整的提示。

4.加载样式:您可以从下面的样式下拉菜单中选择多种样式。使用此按钮将它们插入提示和否定提示中。

5.保存方式:保存提示和否定提示。您需要为样式命名。

图像文件操作

您会发现一排按钮,用于对生成的图像执行各种功能。从左到右…

打开文件夹:打开图像输出文件夹。它可能不适用于所有系统。

保存:保存图像。点击后,按钮下方会显示下载链接。如果您选择图像网格,它将保存所有图像。

Zip:压缩图像以供下载。

发送到 img2img:将选定的图像发送到 img2img 选项卡。

发送到修复:将所选图像发送到 img2img 选项卡中的修复选项卡。

发送到附加内容:将选定的图像发送到附加选项卡。

Img2img 选项卡

img2img 选项卡是您使用图像到图像功能的地方。大多数用户会访问此选项卡来修复图像并将其转换为另一个图像。

图像到图像

img2img 选项卡中的日常用例是……图像到图像。您可以按照基本映像的组成创建新映像。

步骤1:将基础镜像拖放到img2img页面的img2img选项卡中。

步骤2:调整宽度或高度,使新图像具有相同的宽高比。您应该在图像画布中看到一个指示纵横比的矩形框。在上面的横向图像中,我将宽度设置为 760,同时将高度保持为 512。

第三步:设置采样方法采样步长。我通常使用 25 个步骤的 DPM++ 2M Karass。

步骤 4:将批量大小设置为 4。

第 5 步:为新图像编写提示。我将使用以下提示。

逼真的龙插图 步骤 6:按“生成”按钮生成图像。调整降噪强度并重复。下面是具有不同降噪强度的图像。

0.4

0.6

许多设置与 txt2img 共享。我只想解释一下新的。

调整大小模式:如果新图像的宽高比与输入图像的宽高比不同,有几种方法可以协调差异。

  • “ Just resize ”缩放输入图像以适应新的图像尺寸。它将拉伸或挤压图像。
  • 裁剪并调整大小”使新图像画布适合输入图像。不合适的部分被移除。原始图像的长宽比将被保留。
  • “调整大小并填充”将输入图像调整到新的图像画布中。多余的部分用输入图像的平均颜色填充。纵横比将被保留。
  • “Just resize (latent upscale)”与“Just resize”类似,但缩放是在潜在空间中完成的。使用大于0.5的去噪强度以避免图像模糊。

只需调整大小

裁剪并调整大小

调整大小并填充

去噪强度:控制图像改变的程度。如果设置为 0,则不会发生任何变化。如果设置为 1,新图像不会跟随输入图像。0.75 是一个很好的起点,有大量的更改。

您可以使用内置脚本穷人的外画:用于扩展图像。请参阅外观指南

草图

您可以绘制初始图片,而不是上传图像。启动 webui 时,您应该使用以下参数启用彩色草图工具。(它已经在快速入门指南中的Google Colab 笔记本中启用)

--gradio-img2img-tool color-sketch 第 1 步:导航到img2img 页面上的草图选项卡。

第 2 步:将背景图像上传到画布。您可以使用下面的黑色或白色背景。

黑色背景

白色背景

第三步:画出你的创作草图。启用彩色素描工具后,您应该能够用彩色素描。

第四步:写一个提示。

获奖的房子 第 5 步:按“生成”。

你不必从头开始画一些东西。您可以使用草图功能来修改图像。下面是一个通过绘制辫子并进行一轮图像到图像来去除辫子的示例。使用滴管工具从周围区域选取颜色。

修复

也许img2img选项卡中最常用的功能是修复。您在 txt2img 选项卡中生成了您喜欢的图像。但有一个小缺陷,你想重新生成它。

假设您已在txt2img选项卡中生成了以下图像。你想重新生成这张脸,因为它是乱码。您可以使用“发送到修复”按钮将图像从txt2img选项卡发送到img2img选项卡。

当切换到 img2img 页面的“修复”选项卡时,您应该会看到您的图像。使用画笔工具在要重新生成的区域上创建蒙版。

由于您使用了“发送到修复”功能,因此图像尺寸等参数已正确设置。你通常会调整

  • 去噪强度:从 0.75 开始。增加改变更多。减少改变。
  • 面膜内容:原装
  • 遮罩模式:Inpaint 遮罩
  • 批量大小:4

生成按钮。选择你喜欢的一个。

修复素描

修复素描结合了修复和素描。它允许您像在草图选项卡中一样进行绘画,但仅重新生成绘画区域。未涂漆的区域保持不变。下面是一个例子。

修复上传

Inpaint 上传允许您上传单独的蒙版文件,而不是绘制它。

批处理可让您对多个图像进行修复或执行图像到图像的操作。

从图像中获取提示

AUTOMATIC1111 的Interogate CLIP按钮会获取您上传到 img2img 选项卡的图像并猜测提示。当您想要处理您不知道提示的图像时,它非常有用。要从图像中获取猜测的提示:

第 1 步:导航至img2img 页面

步骤 2:将图像上传到img2img 选项卡

步骤 3:单击询问 CLIP按钮。

提示文本框中会出现提示。

Interrogate DeepBooru按钮提供了类似的功能,只不过它是为动漫图像设计的。

升级

您将进入“额外”页面来放大图像。为什么需要 AUTOMATIC1111 来放大图像?您可以使用PC 上通常不可用的AI 升级器。您可以在这里免费获得人工智能升级服务,而无需付费。

基本用法

请按照以下步骤升级图像。

第 1 步:导航至“额外”页面。

第 2 步:将图像上传到图像画布。

步骤 3 :在调整大小标签下设置比例因子。新图像的每一面都会大很多倍。例如,200×400 的图像将变为 800×1600,比例因子为 4。

步骤 4:选择 Upscaler 1. 流行的通用 AI Upscaler 是 R-ESRGAN 4x+。

第 5 步:按“生成”。您应该在右侧看到一个新图像。

确保以全分辨率检查新图像。例如,您可以在新选项卡中打开新图像并禁用自动调整。如果缩小的话,升级器​​可能会产生您可能会忽略的伪影。

例如,即使您不需要放大 4 倍,它仍然可以将其放大到 4 倍并稍后调整大小。这有助于提高清晰度。

缩放至:您可以在“缩放至”选项卡中指定要调整大小的尺寸,而不是设置比例因子。

升级者

AUTOMATIC1111 默认提供一些升级器。

Upscalers:Upscaler 下拉菜单列出了几个内置选项。您也可以安装自己的。有关说明,请参阅AI 升级器文章。

LanczosNearest是老派的高档品牌。它们没有那么强大,但行为是可以预测的。

ESRGANR-ESRGANScuNetSwinIR是 AI 升级器。他们可以通过编造内容来提高分辨率。有些接受过粒子风格的训练。确定它们是否适合您的图像的最佳方法是对其进行测试。我现在听起来可能像一张破唱片,但请务必以全分辨率仔细查看图像。

Upscaler 2:有时,您想要结合两个 Upscaler 的效果。此选项允许您组合两个放大器的结果。混合量由Upscaler 2 Visibility滑块控制。值越高表示升级量 2 越多。

找不到您喜欢的高档产品?您可以从模型库安装其他升级程序。请参阅安装说明

面部修复

您可以选择在放大过程中恢复面部。有两个选项可用:(1) GFPGAN 和 (2) CodeFormer。设置其中任一者的可见性以应用校正。作为缩略图的规则,您应该设置可以接受的最低值,以便图像的样式不受影响。

PNG信息

许多稳定扩散 GUI(包括 AUTOMATIC1111)将生成参数写入图像 png 文件。这是一个快速获取生成参数的便捷功能。

如果图像是由 AUTOMATIC1111 生成的,您可以使用“发送到”按钮将参数快速复制到各个页面。

当您在网络上找到图像并想要查看提示是否保留在文件中时,它非常有用。

即使对于未生成的图像,此功能也可能很有帮助。您可以快速将图像及其尺寸发送到页面。

检查点合并

AUTOMATIC1111 的检查点合并用于组合两个或多个模型。您最多可以组合 3 个模型来创建新模型。它通常用于混合两个或多个模型的风格。但是,不能保证合并结果。它有时会产生不需要的伪影。

主要模型(A、B、C):输入模型。合并将根据显示的公式完成。公式将根据所选的插值方法而变化。

插值方法

  • 无插值:仅使用模型 A。这用于文件转换或替换VAE
  • 加权和:合并两个模型A和B,乘数权重M应用于B。公式为A * (1 – M) + B * M。
  • 添加差异:使用公式 A + (B – C) * M 合并三个模型。

检查点格式

  • 控制点:原始检查点模型格式。
  • 安全张量安全张量是 Hugging Face 开发的一种新模型格式。它是安全的,因为与 ckpt 模型不同,加载 Safe Tensor 模型不会执行任何恶意代码,即使它们位于模型中。

在 VAE 中烘烤:更换VAE 解码器替换为所选解码器。它是为了用 Stability 发布的更好的版本替换原来的版本。

火车

训练页面用于训练模型。目前支持文本反转(嵌入)和超网络。我使用 AUTOMATIC1111 进行训练的运气不太好,所以我不会介绍这一部分。

设置

AUTOMATIC1111 的设置页面上有详细的设置列表。我无法在本文中单独讨论它们。以下是您想要检查的一些内容。

确保单击“应用设置”

面部修复

确保选择默认的面部恢复方法。代码形成者是一款不错的软件。

稳定扩散

下载并选择VAEStability发布的

快速设置

快速设置

您可以在顶部启用自定义快捷方式。

“设置”页面上,单击左侧面板上的“显示所有页面” 。

搜索“快速设置”一词即可进入“快速设置”字段。

有很多设置可供选择。例如,以下内容启用剪辑跳过和自定义图像输出目录的快捷方式。

保存设置并重新加载 Web-UI 后,您将在页面顶部看到新的快捷方式。

自定义输出目录对于组织图像非常有用。

以下是可用于启用的快速设置列表

  • CLIP_stop_at_last_layers
  • sd_vae
  • outdir_txt2img_samples
  • outdir_img2img_samples

转载自查看原文
合集导航
合集
# 1 【Stable Diffusion进阶教程】After Detailer:自动修复面面部
# 2 【Stable Diffusion进阶教程】如何运行 SDXL 模型
# 3 【Stable Diffusion进阶教程】加速Stable Diffusion
# 4 【Stable Diffusion进阶教程】Stable Diffusion中控制光照的 3 种方法
# 5 【Stable Diffusion进阶教程】在Stable Diffusion中放大图像的 3 种方法(ControlNet 平铺放大、SD 放大、AI 放大)
# 6 【Stable Diffusion进阶教程】负面提示如何发挥作用?
# 7 【Stable Diffusion进阶教程】Stable Diffusion如何发挥作用?
# 8 【Stable Diffusion进阶教程】Stable Diffusion工作流程(分步示例)
# 9 【Stable Diffusion进阶教程】Stable Diffusion2中的图像深度:您需要了解的一切
# 10 【Stable Diffusion进阶教程】区域提示器:控制Stable Diffusion中的图像合成
# 11 【Stable Diffusion进阶教程】如何使用Stable Diffusion (Deforum) 制作视频
# 12 【Stable Diffusion进阶教程】Stable Diffusion SDXL Beta 模型
# 13 【Stable Diffusion进阶教程】Stable Diffusion采样器:综合指南
# 14 【Stable Diffusion进阶教程】Midjourney 与 Stable Diffusion您应该选择哪一个?
# 15 【Stable Diffusion进阶教程】什么是超网络以及您应该了解的超网络
# 16 【Stable Diffusion进阶教程】如何在Stable Diffusion中使用嵌入
# 17 【Stable Diffusion进阶教程】如何使用Stable Diffusion将照片卡通化
# 18 【Stable Diffusion进阶教程】如何使用 Dreambooth 将任何东西放入Stable Diffusion(Colab 笔记本)
# 19 【Stable Diffusion进阶教程】如何使用AI图像放大器来改善细节
# 20 【Stable Diffusion进阶教程】WebUI AUTOMATIC1111:初学者指南
# 21 【Stable Diffusion进阶教程】什么是 LoRA 模型以及如何在 AUTOMATIC1111 中使用它们
# 22 【Stable Diffusion进阶教程】ControlNet v1.1:完整指南
# 23 【Stable Diffusion进阶教程】如何使用 Stable Diffusion AI 对图像进行风格化
# 24 【Stable Diffusion进阶教程】利用图像 AI 生成时尚创意的 4 种方法
# 25 【Stable Diffusion进阶教程】使用Stable Diffusion制作动画 GIF(分步)
# 26 【Stable Diffusion进阶教程】AI 图像中的常见问题及其解决方法
# 27 【Stable Diffusion进阶教程】使用这些简单的提示技巧微调您的 AI 图像
# 28 【Stable Diffusion进阶教程】如何通过Stable Diffusion修复去除多余的肢体
# 29 【Stable Diffusion进阶教程】如何使用outpainting来扩展图像
# 30 【Stable Diffusion进阶教程】如何在 Google Colab 上运行稳定扩散 (AUTOMATIC1111)
 

全部讨论

no data来都来了,坐下聊聊