首页教程
【Stable Diffusion初学者指南】修补法初学者指南
1

【Stable Diffusion初学者指南】修补法初学者指南

AI知识学习小助手
AI知识学习小助手
2023-07-18 16:39

无论你的提示和模型有多好,一次性获得完美图像的情况都很少见。

修补是修复小缺陷不可或缺的方法。在这篇文章中,我将介绍一些使用修复来修复缺陷的基本示例。

如果您不熟悉 AI 图像,您可能需要先阅读其他初学者指南。

图像模型和GUI

我们将使用稳定扩散 AI 和 AUTOMATIC1111 GUI。请参阅我的 快速入门指南, 了解如何在 Google 云服务器中进行设置。

基本修复设置

在本节中,我将逐步向您展示如何使用修复来修复小缺陷。

我将使用Lonely Palace提示中的原始图像:

[艾玛·沃特森:琥珀色:0.5],(长发:0.5),headLeaf,穿着斯托拉,巨大的罗马宫殿,大窗户,中世纪文艺复兴宫殿,((大房间)),4k,arstation,复杂,优雅,高度详细 (详细设置可以在这里找到。)

原图

这是一个很好的图像,但我想解决以下问题

  • 脸看起来不自然。

  • 右臂不见了。

使用修复模型(可选)

您知道有一个用于修复训练的稳定扩散模型吗?如果您想获得最佳结果,可以使用它。但通常情况下,可以使用生成图像的相同模型进行修复。

要安装v1.5修复模型,请下载模型检查点文件并将其放入文件夹中

stable-diffusion-webui/models/Stable-diffusion

在 AUTOMATIC1111 中,按左上角检查点选择下拉框旁边的刷新图标。选择sd-v1-5-inpainting.ckpt启用该模型。

创建修复蒙版

在 AUTOMATIC1111 GUI 中,选择img2img选项卡,然后选择Inpaint子选项卡。将图像上传到修复画布。

我们将同时修复右臂和脸部。使用画笔工具创建蒙版。这是您需要Stable-diffusion来重新生成图像的区域。

使用画笔工具创建蒙版。

修复设置

提示词

您可以重复使用原始提示来修复缺陷。这就像生成多个图像,但仅在特定区域中。

图片大小

需要将图像尺寸调整为与原始图像相同。(在本例中为 704 x 512)。

面部修复

如果您要修复脸部,则可以打开“恢复脸部”您还需要在“设置”选项卡中选择并应用要使用的面部修复模型CodeFormer是一个很好的工具。

请注意,此选项可能会产生不自然的外观。它还可能生成一些与模型风格不一致的东西。

面膜内容

下一个重要设置是Mask Content

如果您希望结果以原始内容的颜色和形状为指导,请选择原始。原件经常在修复脸部时使用,因为一般形状和解剖结构都还可以。我们只是想让它看起来有点不同。

在大多数情况下,您将使用原始并更改降噪强度来实现不同的效果。

如果您想重新生成与原始内容完全不同的东西,例如移除肢体或隐藏手,则可以使用潜在噪声潜在无内容。这些选项使用原始图像以外的其他内容初始化遮罩区域。它会产生完全不同的东西。

去噪强度

去噪强度控制与原始图像相比会产生多少变化。当您将其设置为 0 时,不会发生任何变化。当您将其设置为 1 时,您将得到不相关的修复。0.75 通常是一个很好的起点。如果你想减少改变,就减少。

批量大小

确保一次生成一些图像,以便您可以选择最好的图像。将种子设置为 -1,以便每个图像都不同。

修复结果

以下是一些修复后的图像。

又一轮修补

我喜欢最后一个,但新修补的手臂下面多了一只手。按照上传此图像和创建蒙版的类似步骤进行操作。屏蔽内容必须设置为潜在噪音才能生成完全不同的内容。 第二轮修复将腋下的手去除:

使用修复去除腋下多余的手。

这是我的最终形象。

并排比较

左:原始。右:修补2次。

修复是一个迭代过程。您可以根据需要多次应用它来优化图像。

请参阅这篇文章了解另一个更极端的修复示例。

请参阅使用修复去除多余肢体的教程

添加新对象

有时您想向图像添加一些新内容。

让我们尝试在图片中添加一把手扇。

首先,将图像上传到修复画布,并在胸部和右臂周围创建一个遮罩。

在原提示的开头添加“拿着手扇”的提示。修复的提示是:(手持扇子:1.2)、[艾玛·沃特森:琥珀听见:0.5]、(长发:0.5)、headLeaf、穿着斯托拉、巨大的罗马宫殿、大窗户、中世纪文艺复兴时期的宫殿、((大房间))、4k ,arstation,复杂,优雅,非常详细

将新对象添加到原始提示中可确保风格的一致性。可以调整关键词权重(上面1.2)来让粉丝秀

将屏蔽内容设置为潜在噪声

调整去噪强度CFG 比例以微调修复图像。

经过一些实验,我们的任务完成了:

添加带有修复功能的手扇。

修复参数说明

去噪强度

去噪强度控制最终图像应尊重原始内容的程度。将其设置为 0 不会改变任何内容。设置为 1 你会得到一张不相关的图像。

如果您想要小额零钱,则设置为低值;如果您想要大额零钱,则设置为高值。

改变降噪强度。如果您想要小额零钱,则设置为低值;如果您想要大额零钱,则设置为高值。

CFG量表

与text-to-image中的用法类似,Classifier Free Guidance 比例 是一个参数,用于控制模型应尊重您的提示的程度。

1 – 大多忽略您的提示。 3 – 更有创意。 7 – 遵循提示和自由之间的良好平衡。 15 – 更加遵守提示。 30 – 严格按照提示操作。

屏蔽内容

屏蔽内容控制屏蔽区域的初始化方式。

  • 填充:使用高度模糊​​的原始图像进行初始化。

  • 原始:未修改。

  • 潜在噪声:用填充初始化的屏蔽区域,并将随机噪声添加到潜在空间。

  • Latent Nothing:类似于潜在噪声,只是没有噪声添加到潜在空间中。

以下是任何采样步骤之前的初始掩模内容。这让您对它们是什么有一些了解。

屏蔽内容。

修补技巧

成功的修复需要耐心和技巧。这里有一些带回家使用修复的方法

  • 一次一小块区域。

  • 将蒙版内容保持为原始状态并调整降噪强度在 90% 的情况下都有效。

  • 尝试使用屏蔽内容,看看哪一个效果最好。

  • 如果 AUTOMATIC1111 的设置中没有任何效果,请使用 Photoshop 或 GIMP 等照片编辑软件以您想要的粗略形状和颜色绘制感兴趣的区域。上传该图像并用原始内容进行修复。

查看更多从零了解Stable Diffusion内容点击:https://www.haoshuo.com/article/64b899356b6e1b749015ef90

合集导航
合集
# 1 【Stable Diffusion初学者指南】Stable Diffusion的基础信息
# 2 【Stable Diffusion初学者指南】Stable Diffusion安装教程(Windows)
# 3 【Stable Diffusion初学者指南】Stable Diffusion安装教程(Mac M1/M2)
# 4 【Stable Diffusion初学者指南】尝试Stable Diffusion在线演示
# 5 【Stable Diffusion初学者指南】Stable Diffusion模型的初学者指南以及模型
# 6 【Stable Diffusion初学者指南】Stable Diffusion能做什么?
# 7 【Stable Diffusion初学者指南】现实的人类街头肖像
# 8 【Stable Diffusion初学者指南】如何在稳定扩散中生成动物
# 9 【Stable Diffusion初学者指南】如何将业余绘画转变为专业绘画
# 10 【Stable Diffusion初学者指南】如何通过 AI 修复去除不需要的对象
# 11 【Stable Diffusion初学者指南】具有稳定扩散的视频到视频
# 12 【Stable Diffusion初学者指南】如何使用Stable Diffusion
# 13 【Stable Diffusion初学者指南】顶级免费稳定扩散 AI 图像生成器网站
# 14 【Stable Diffusion初学者指南】稳定扩散提示:权威指南
# 15 【Stable Diffusion初学者指南】指导 Pix2Pix:用文本编辑照片并使其风格化
# 16 【Stable Diffusion初学者指南】如何写出一个好的提示词?
# 17 【Stable Diffusion初学者指南】一个好的提示词的基本规则
# 18 【Stable Diffusion初学者指南】什么是ChatGPT?
# 19 【Stable Diffusion初学者指南】从 ChatGPT 中梳理出高质量提示词
# 20 【Stable Diffusion初学者指南】如何使用负面提示词?
# 21 【Stable Diffusion初学者指南】负面提示词对于 v2 模型很重要
# 22 【Stable Diffusion初学者指南】v2模型中的负面提示词
# 23 【Stable Diffusion初学者指南】如何更改提示词的参数?
# 24 【Stable Diffusion初学者指南】一次应该生成多少张图?
# 25 【Stable Diffusion初学者指南】Stable Diffusion修复图像的常见方法
# 26 【Stable Diffusion初学者指南】修复脸部乱码和眼睛问题
# 27 【Stable Diffusion初学者指南】如何使用 VAE 改善面部
# 28 【Stable Diffusion初学者指南】修补法初学者指南
# 29 【Stable Diffusion初学者指南】Stable Diffusion模型相关
# 30 【Stable Diffusion初学者指南】如何控制图像构图
# 31 【Stable Diffusion初学者指南】生成特定主题
 

全部讨论

no data来都来了,坐下聊聊