【Stable Diffusion模型】关于微调模型

• 什么是微调？

微调是机器学习中的一种常见技术，它需要一个在宽数据集上训练的模型，并在窄数据集上进行更多的训练。

经过微调的模型将偏向于生成与数据集相似的图像，同时保持原始模型的多功能性。

• 为什么要制造它们？

Stable diffusion固然很好，但并不是万能的。例如，它可以生成提示词中带有关键字“anime”的动漫风格图像。但生成动漫子类型的图像可能很困难，你可以使用该子类型的图像微调模型，而不是修改提示词。

• 它们是如何制作的？

两种主要的微调方法是（1）额外训练和（2）Dreambooth。它们都以 Stable Diffusion v1.4 或 v1.5 等基本模型开始。

额外的训练是通过使用你感兴趣的附加数据集训练基本模型来实现的。例如，你可以使用老式汽车的附加数据集训练 Stable Diffusion v1.5，以使汽车的美学偏向于子类型。

Dreambooth 最初由 Google 开发，是一种将自定义主题注入文本到图像模型的技术，它只支持 3-5 个自定义图像。你可以给自己拍几张照片，然后使用 Dreambooth 将自己放入模型中，使用 Dreambooth 训练的模型需要特殊的关键词来调节模型。

还有另一种不太流行的微调技术，称为文本反转（有时称为嵌入）。目标与 Dreambooth 类似：只需几个示例即可将自定义主题注入模型中，专门为新对象创建一个新关键词，仅对文本嵌入网络进行微调，同时保持模型的其余部分不变。 通俗地说，这就像用现有的词语来描述一个新的概念。

查看更多从零了解Stable Diffusion内容点击：https://www.haoshuo.com/article/64b899356b6e1b749015ef90