【Stable Diffusion进阶教程】Stable Diffusion工作流程(分步示例)
令人惊叹的Stable Diffusion艺术品不是通过简单的提示创建的。 工作流程是一个多步骤过程。 在这篇文章中,我将逐步介绍该工作流程。
此工作流程的步骤是:
构建基本提示。 选择型号。 细化提示并生成构图良好的图像。 通过修复修复缺陷。 升级图像。 使用照片编辑软件进行最终调整。
此工作流程中使用的软件
我将在此工作流程中使用 AUTOMATIC1111 GUI,因为我想利用一些高级提示技术并测试多个模型。 快速入门指南中的 Colab 笔记本运行此 GUI,并包含本教程中使用的所有模型。 如果您想在本地安装此 GUI,请查看 Windows 安装指南。
在后期处理阶段,我将使用 GIMP(一个免费的开源照片编辑器)来进行最终的小调整。
1. 构建基本提示
第一个任务是搜索与您想要的内容大致匹配的提示。 这包括两个方面:(1)主题和(2)风格。
您应该尽可能详细地描述该主题。 接下来,包括影响风格和美学的多个关键字。
假设我想创建一个女性的数字插图。 使用提示生成器(您还可以在本文中找到关键字列表),我得到以下初始提示
A digital painting of [blake lively:Ana de Armas:0.8 ] , full-body, contemporary white top, red dress, by Artgerm, Guangjian, artstation, soft eyes, extremely detailed face, stunningly beautiful, highly detailed, sharp focus, radiant light rays
放置标准的否定提示“just in case”…
ugly, disfigured, deformed, cropped
我使用关键字混合来控制模型的外观。
这只是一个草稿提示。 我们将在工作流程中对其进行更改。 让我们继续下一步。
2. 选择型号
测试基本提示也是选择模型的好时机。
对于数码肖像,我会测试这三种模型:
Stable Diffusion 1.5:基础模型 F222:专门针对女性(注意:这是 NSFW 型号) OpenJourney:MidJourney v4 风格
以下是每个模型的示例。 我们将根据风格选择型号。 不用担心获得完美的图像。 缺陷可以稍后修复。
我将使用512×832像素的肖像尺寸来增加生成全身肖像的机会。 其余参数非常标准:Euler 采样器的 25 个采样步骤,CFG 比例 7。
Stable Diffusion v1.5
Stable Diffusion v1.5 生成数字和照片风格的混合。 其中一些很好,但其中许多解剖结构不好,很难修复。

F222
使用 F222 生成肖像风格的图像是一个安全的选择。 经过大量女性图像的微调,身体部位通常都能正确生成。 它会根据此提示生成非常标准的数字艺术风格。

OpenJourney
OpenJourney 使用由付费 AI 图像生成服务 MidJourney v4 生成的图像进行训练。 这些图像具有独特的感觉和外观。

F222和OpenJourney的风格我都很喜欢。 但我们选择 OpenJourney 来继续工作流程。
3. 细化提示并获得良好的构图
细化提示
现在您已经选择了一个模型,让我们通过添加或删除关键字来完善提示,直到获得可用于下一阶段的图像。
当测试新的提示时,我会一次生成至少 4 个图像。 有些提示并不总是有效。 您不想因为一张糟糕的图片而取消提示。
我会添加一些关键字来生成更有趣的背景和灯光效果。
选择好的构图
此阶段的目标不是挑选一张完美的图像,而是挑选一张构图良好的图像。 任何小缺陷都可以稍后使用修复来修复。
但不要选择有很多缺陷的。 你会花费大量的时间进行修复。
眯起眼睛
如何挑选好的构图? 它与其他艺术品没有什么不同。 一个常见的技巧是在看图像时眯起眼睛。 您会看到它的模糊版本,删除了任何分散注意力的细节。 如果颜色和形状仍然让您满意,那么这是一个很好的构图。
激发情感
你有见过让你无法移开目光的艺术品吗? 通常,这不是因为技术执行,而是因为艺术传达了一种在情感上触动你的信息。
好的艺术作品传递信息并激发情感。 选择一张能引起您共鸣的图片。
选择一张要使用的图像
我将批量大小设置为 4,将种子设置为 -1(随机)。 我不断修改提示,生成一批 4 张图像,同时密切关注构图。
现在,我看到这张图片完全引起了我的共鸣…… 让我们在本教程的其余部分中使用它......

这是最后的提示:
A digital painting of [blake lively:Ana de Armas:0.8] in street cityscape background, happy, full-body, contemporary white top, red dress, (stocking:1.2), by Artgerm, Guangjian, artstation, soft eyes, extremely detailed face, stunningly beautiful, highly detailed, sharp focus, radiant light rays, cinematic lighting, colorful, volumetric light
否定提示还是一样:
ugly, disfigured, deformed, cropped
4. 通过修复修复缺陷
修饰主题
该图像的上半部分形状良好,但下半部分不太连贯。 让我们使用修复来修复它。
如果您刚刚使用 AUTOMATIC1111 在 txt2img 选项卡中生成了此图像,请使用“发送到修复”按钮将图像和参数发送到“修复”选项卡。
如果您已将图像保存在本地存储中,请转到 PNG 信息选项卡,将图像拖放到图像画布上。 生成参数将填充在文本框中。 按发送进行修复。
导航到 img2img 选项卡。 选择修复子选项卡。 使用画笔工具为要重新生成的区域绘制蒙版。

修复,遮罩内容为原始,去噪强度为0.66。 我想要一件红色连衣裙,所以我删除了关键字“白色”,并将提示中红色连衣裙的强调度增加到 1.3:
A digital painting of [blade lively:Ana de Armas:0.8 ] in street cityscape background, happy, full-body, contemporary top, (red dress: 1.3), (stocking:1.2), by Artgerm, Guangjian, artstation, soft eyes, extremely detailed face, stunningly beautiful, highly detailed, sharp focus, radiant light rays, cinematic lighting, colorful, volumetric light
在修复衣服或其他身体部位时,通常不需要全分辨率修复。 所以我不选中这个选项。
这是我选择的修复结果:

让我们把腰带和裙子再修理一下。 提示可以保持不变。 可以根据您想要的变化程度来调整去噪强度。 对于这次修复,它保持在 0.66 不变。

现在我们得到:

我发现将蒙版内容保持为原始内容,但上下调整去噪强度在大多数情况下都是有效的。
修饰背景
最后,修饰背景以消除任何分散注意力的细节。 同样,一个好方法是眯着眼睛看图像的模糊版本。 删除背景中任何突出的东西。

现在背景已经固定好了,图像的形状非常好!

5. 放大图像
这部分工作流程的目的是使图像变大,因为它非常小:只有 512×832 像素。 我们将使用 AI 放大器将其放大 4 倍。
在 AUTOMATIC1111 中,在修复结果下,单击“发送到额外内容”。

转到“附加”选项卡。 您可以尝试不同的放大器和设置。 请务必将生成的图像保存到本地计算机并放大以检查细节,尤其是脸部。
经过一番实验,我确定的设置如下:
调整大小:4 升级器:R-ESRGAN 4x+ CodeFormer 可见性:~0.5 CodeFormer 权重:~0.5 恢复面前高档:是

一般规则是应用尽可能少的面部修复量。 这可以通过降低 CodeFomer 可见性和/或增加 CodeFormer 权重来实现。 在恢复面部之前进行升级可以减少升级器引入的伪影。
这是升级后的图像:

6. 最终调整
最后一步是使用 GIMP 或您选择的任何照片编辑软件对亮度和对比度进行一些小的调整。 您还可以执行更多操作来修饰图像。 我只会提到最基本的内容:水平、曲线和裁剪。
调整级别
在 GIMP 中,单击顶部菜单中的颜色 → 色阶。 调整左右向上箭头,使它们覆盖直方图的尾部。 这是为了确保图像使用整个强度值范围。
然后将中间的向上箭头调整到您喜欢的亮度级别。

调整曲线
在 GIMP 中,单击顶部菜单中的颜色 → 曲线。 分别调整曲线的上部和下部,以独立控制应用于明亮部分和阴影的对比度。

裁剪
与真实照片一样,AI 图像可能需要进行裁剪以改善构图。 这与应用于训练数据的简单自动裁剪有关。
要在 GIMP 中裁剪图像,请单击工具 → 变换工具 → 裁剪。
由于这张图片看起来已经相当不错了,所以我不会裁剪它。
调整大小(可选)

您可以选择调整图像大小以适应不同的用途。 要调整大小,请单击图像 → 缩放图像。 输入新的宽度和高度。
最后结果
所以到这里我们就得到了最终的结果。
