【Stable Diffusion进阶教程】如何通过Stable Diffusion修复去除多余的肢体

AI知识学习小助手

2023-08-07 17:23

Stable Diffusion AI 图像中的一个常见问题是肢体可能无法正确生成。有时一个人可能多了一只手臂，而有时他的一条腿可能会缺失。最后，我们得到了 4 个肢体，但解剖结构不太正确。

一位读者建议制作一个专门的教程来去除多余的肢体。那么就到这里吧！在这篇文章中，我将向您展示如何使用修复来修复这两个有问题肢体的图像。

软件

我将在本教程中使用AUTOMATIC1111 GUI。您可以使用快速入门指南中的 Colab 笔记本一键运行此 GUI 。您还可以在Windows 和 Mac上安装它。

我们需要v1.5 修复模型。确保在快速入门指南中启动 Colab Notebook 时检查修复模型。

如果您在本地运行 AUTOMATIC1111 ，请按照说明安装修复模型。

我将使用 Photoshop 在第二个示例中的某些区域进行绘画。您可以使用任何其他照片编辑软件。

提示和否定提示

要修复的两个图像是使用以下提示生成的。

美丽女性穿着跑步服的全身肖像，头发亮点，坐在餐厅外，棕色眼睛，穿着裙子，侧光

负面提示是

毁容、丑陋、坏、不成熟、两个头我们将在修复示例中使用相同的提示。示例 1：仅修复肢体

我们将修复以下四肢扭曲的图像。

如果您想学习本教程，可以使用下面的按钮下载此图像。

下载将图像发送到修复

显然，腿是最有问题的。该图像是使用AUTOMATIC1111 中的txt2img选项卡生成的。我们将仅通过修复来修复此图像。使用图像下方方便的“发送到修复”按钮将新生成的图像发送到修复。

或者，如果您使用下载的图像，请转到img2img选项卡并选择Inpaint子选项卡。将提示和否定提示写在相应的输入框中。通过拖放到图像画布来上传图像。

无论您使用哪种方法，现在您应该已经设置了 GUI，如下所示。

修复参数

下面是我的修复设置的屏幕截图。

有很多设置。重要的是

提示和否定提示：同原文。

示例步骤：设置为相当高的值，例如 25。

修复区域：“全图”生成与整个图像一致的图像。“仅遮罩”仅绘制遮罩区域，但分辨率更高。它对于绘制脸部等更精细的细节非常有用。

批量大小：设置为合理的数字，例如 4，以便您可以挑选最好的一个。

去噪强度是一个非常重要的参数。0.75 是一个很好的起点。如果你想让它改变更多，就增加。如果您希望其变化较小，则减少。

屏蔽内容：保持原样。

种子：-1 表示随机。这很重要，因为您希望在每次试验中产生不同的东西。

选择稳定扩散 v1.5 修复模型。

固定四肢

现在，我们准备使用修复来修复四肢。让我们先修复腿部，因为它们是最有问题的。使用修复画布旁边的画笔工具在腿部周围创建遮罩。覆盖你想要再生的部分。

我们使用 0.75 的降噪强度。按生成。我们看到生成的 4 张图像。

您可以看到新生成的图像取得了不同程度的成功。因此，生成多张图像并选择最好的一张非常重要。尽管并不完美，但我们还是选择左上角的图像，因为它向右侧移动。如果您没有看到任何改进，您可以重新生成另一组 4 个。（确保种子设置为 -1）

这是我们的第一次迭代：

要在下一轮中使用图像，请在右侧画布中选择图像，然后使用图像下方的发送到修复按钮将其发送到修复画布。

按下按钮后，您可能想知道为什么似乎没有任何变化。原因是所有的变化都在被黑色油漆覆盖的遮罩区域下。如果你摘下面具，你会看到变化。但因为我们想重复使用同一个面具，所以我们不会这样做。

使用相同的掩模和相同的参数，点击“生成”按钮得到另一个 4。新的 4 是根据上面改进的图像生成的。

右下角是明显的赢家。让我们继续前进吧。

固定运动鞋

当修复四肢或任何东西时，您应该从大区域开始，然后逐渐转向较小的区域。假设我们想更换她穿的运动鞋。

我们将遵循类似的步骤：选择右下角的图像并使用“发送到修复”按钮将其发送到左侧的修复画布。

同样，在修复画布上，您会发现没有任何变化。

您需要使用右上角的撤消按钮来完全删除蒙版。重新绘制面具，但仅覆盖运动鞋。

使用相同的设置（去噪强度0.75，原始内容）并生成大约16张图像后，我选择了以下图像

固定脸部

她的脸有点乱。这是修复非常适合修复的东西。将新图像发送到修复并在她的脸上创建一个面具。

现在我们需要使用新的设置：

去噪强度：0.2。我们需要较低的价值，因为脸还不错。我们已经把眼睛、鼻子和嘴巴放在了正确的位置。所以我们想要非常小的改变。

修复区域：仅被遮盖。此选项将修复区域缩放到更大，执行修复，然后将其缩小。由于我们正在绘制包含大量细节的小区域，因此此选项有助于提高质量。

按“生成”可生成 4 张带有新面孔的新图像。下面是我选的。

固定肩部

最后，她的肩膀看起来有点不自然。让我们也修复它。

使用 0.5 的降噪强度并保持修复区域仅被遮盖，我们得到以下图像。

最后用类似的方法固定她的手。

比较与总结

让我们比较一下之前和之后。

前

后

您可以使用修复来继续修复不完美的小细节。但我希望这是一个很好的例子来演示如何单独使用修复来修复肢体。

综上所述，该技术的基本思想是

重复使用相同的提示和否定提示。
保持蒙版内容为原始内容，并调整去噪强度以控制我们想要进行的更改量。（0表示不改变。1表示完全不基于原始内容进行改变）。这样，您就不需要在实现类似的控件的同时弄乱其他屏蔽内容设置。
绘制大区域时选择修复整个图片，修复小区域时仅选择遮罩区域。
首先从大的缺陷（例如四肢）开始，然后逐渐转向较小的区域。

示例 2：修补和油漆

让我们看一下这个更具挑战性的示例，即删除两个额外的肢体并在下图中添加回一个。在实践中，您不应该尝试修复这样的图像，因为生成缺陷较少的新图像会更容易。但这是一张很好的图片来展示这种技术，所以这就是我选择的。

您可以在此处下载此图像。

下载

截肢两条腿

首先，我使用 Photoshop 在两个额外的肢体上绘画，同时匹配石壁架的颜色。它不需要完美匹配，足够接近就可以了，因为我们将使用修复来修复它。

如果您有 Apple Pencil 和 iPad 等绘图设备，此步骤会更容易，但使用鼠标完全可以完成。如果您无法访问 Photoshop，则可以使用Gimp（本地运行）或Photopea（在线）。他们是免费的。在任何绘图软件中，您都可以使用颜色滴管工具选取附近石材表面的颜色，并在多余的腿上涂上相同的颜色。

如果上述选项不适合您，您可以尝试使用AUTOMATIC1111 中的Inpaint 草图工具。但我发现它有问题并尝试不使用它。

下面是我涂完漆后的图像。