首页教程
【Stable Diffusion进阶教程】如何使用 Stable Diffusion AI 对图像进行风格化
1

【Stable Diffusion进阶教程】如何使用 Stable Diffusion AI 对图像进行风格化

AI知识学习小助手
AI知识学习小助手
2023-08-07 15:08

图像风格化是将图像风格转变为新风格的过程。 例如,您可能想根据拍摄的照片创建铅笔画。

风格迁移方面的研究已经有很长一段路了,从手工算法到最先进的基于神经网络的方法。

在本文中,我将使用Stable Diffusion来探索图像风格化,稳定扩散是一种用数百万个图像文本对训练的文本到图像模型。

虽然现有方法已经创造了令人印象深刻的结果,但使用文本到图像模型的好处是所有样式都已嵌入到模型中。 无需培训。 您只需使用文本提示指定所需的样式即可。 最后,如果您对嵌入模型的结果不满意,您可以进一步微调并创建自己的模型。

图像风格化的工作流程

基本思路

基本思想是使用 img2img 使用文本提示中指定的新样式修改图像。

使用原始图像来编码初始潜在状态,而不是使用随机潜在状态。 添加少量随机性(由去噪强度控制),模型根据文本提示构建新图像。

因此,如果您在文本提示中包含铅笔画,则合成图像将包含铅笔画的视觉元素,但图像内容仍遵循原始图像。

分步工作流程

好了,这些理论知识已经讲够了! 以下是您实际的做法。

我将使用以下通过维多利亚女孩提示生成的起始图像:

在 AUTOMATIC1111 GUI 中,转到 img2img 选项卡并选择 img2img 子选项卡。 将图像上传到 img2img 画布。

接下来您需要给出提示。 提示应描述新样式和原始图像的内容。 它不需要非常详细。 下面是我将要使用的。

a _______ of a beautiful woman

将艺术风格插入空白处。 (例如美丽女子的炭笔素描)

对于图像风格化,您最多需要调整两个参数:CFG 比例和去噪强度。

回顾 CFG 比例控制模型应遵循提示的程度。 越高,跟随的越多。 去噪强度控制图像应改变的程度。 越低,变化就越少。

如果您想要系统化,可以使用 X/Y 绘图脚本来探索 CFG 尺度和去噪强度之间的相互作用。 图像由种子值指定。

使用提示:A pencil sketch of a beautiful woman

以下是您将得到的。

当去噪强度较高时,图像变化太大,失去了原有的内容。 当它较低时,变化不大。

CFG等级越高,风格越强。

50 步的欧拉采样方法适用于大多数情况。

根据经验,将 CFG 比例设置为 20-30 之间的较高值,并将降噪强度更改为 0.2 到 0.6 之间,以在保留内容的同时实现良好的风格化。

风格化图像的示例

本节中的所有风格化图像都是从下面的原始图像生成的,示例为零。 仅提供文字提示。

这是一些风格化的图像。 提示是A ______ of a beautiful woman

也可以将模型切换到不同的种族。

替代方法

喜欢冒险的读者可以尝试所谓的替代img2img测试,它可以比上述方法更好地保留原始图像的内容。 这个想法是使用原始图像创建潜在噪声模式,使其包含原始内容的信息。

要使用替代噪声,请在脚本下拉菜单中选择 img2img 替代测试。

新用户应该查看功能演示中的示例。 与演示相反,我发现增加 CFG 比例以便遵循提示很有用。 有时需要增加 style 关键字的权重。

下面是使用替代 img2img 生成的波普艺术风格的示例。

是否更好是一个品味问题,但它绝对紧密遵循原始内容。

将其视为工具箱中的工具。

概括

我已经向您展示了使用Stable Diffusion来风格化图像是多么容易。 您所需要做的就是使用 img2img 方法,提供提示,调高 CFG 比例,并调整降噪强度。

我希望这会激励您创作一些新的艺术品!

转载自查看原文
合集导航
合集
# 1 【Stable Diffusion进阶教程】After Detailer:自动修复面面部
# 2 【Stable Diffusion进阶教程】如何运行 SDXL 模型
# 3 【Stable Diffusion进阶教程】加速Stable Diffusion
# 4 【Stable Diffusion进阶教程】Stable Diffusion中控制光照的 3 种方法
# 5 【Stable Diffusion进阶教程】在Stable Diffusion中放大图像的 3 种方法(ControlNet 平铺放大、SD 放大、AI 放大)
# 6 【Stable Diffusion进阶教程】负面提示如何发挥作用?
# 7 【Stable Diffusion进阶教程】Stable Diffusion如何发挥作用?
# 8 【Stable Diffusion进阶教程】Stable Diffusion工作流程(分步示例)
# 9 【Stable Diffusion进阶教程】Stable Diffusion2中的图像深度:您需要了解的一切
# 10 【Stable Diffusion进阶教程】区域提示器:控制Stable Diffusion中的图像合成
# 11 【Stable Diffusion进阶教程】如何使用Stable Diffusion (Deforum) 制作视频
# 12 【Stable Diffusion进阶教程】Stable Diffusion SDXL Beta 模型
# 13 【Stable Diffusion进阶教程】Stable Diffusion采样器:综合指南
# 14 【Stable Diffusion进阶教程】Midjourney 与 Stable Diffusion您应该选择哪一个?
# 15 【Stable Diffusion进阶教程】什么是超网络以及您应该了解的超网络
# 16 【Stable Diffusion进阶教程】如何在Stable Diffusion中使用嵌入
# 17 【Stable Diffusion进阶教程】如何使用Stable Diffusion将照片卡通化
# 18 【Stable Diffusion进阶教程】如何使用 Dreambooth 将任何东西放入Stable Diffusion(Colab 笔记本)
# 19 【Stable Diffusion进阶教程】如何使用AI图像放大器来改善细节
# 20 【Stable Diffusion进阶教程】WebUI AUTOMATIC1111:初学者指南
# 21 【Stable Diffusion进阶教程】什么是 LoRA 模型以及如何在 AUTOMATIC1111 中使用它们
# 22 【Stable Diffusion进阶教程】ControlNet v1.1:完整指南
# 23 【Stable Diffusion进阶教程】如何使用 Stable Diffusion AI 对图像进行风格化
# 24 【Stable Diffusion进阶教程】利用图像 AI 生成时尚创意的 4 种方法
# 25 【Stable Diffusion进阶教程】使用Stable Diffusion制作动画 GIF(分步)
# 26 【Stable Diffusion进阶教程】AI 图像中的常见问题及其解决方法
# 27 【Stable Diffusion进阶教程】使用这些简单的提示技巧微调您的 AI 图像
# 28 【Stable Diffusion进阶教程】如何通过Stable Diffusion修复去除多余的肢体
# 29 【Stable Diffusion进阶教程】如何使用outpainting来扩展图像
# 30 【Stable Diffusion进阶教程】如何在 Google Colab 上运行稳定扩散 (AUTOMATIC1111)
 

全部讨论

no data来都来了,坐下聊聊