图像模型和GUI
我们将使用 Stable Diffusion AI 和 AUTOMATIC1111 GUI。请参阅我的快速入门指南以了解如何在 Google 的云服务器中进行设置。
基本修复设置
在本节中,我将逐步向您展示如何使用修复修复小缺陷。
我将使用 Lonely Palace 提示中的原始图像:
[emma watson: amber heard: 0.5], (long hair:0.5), headLeaf, wearing stola, 浩瀚的罗马宫殿, 大窗户, 中世纪文艺复兴时期的宫殿, ((large room)), ((large room)), 4k, arstation, 复杂, 优雅, 非常详细
(可以在此处找到详细设置。)
原图
这是一个很好的形象,但我想解决以下问题
- 脸看起来不自然。
- 右臂不见了。
使用修复模型(可选)
你知道有一个为修复训练的稳定扩散模型吗?如果您想获得最佳结果,可以使用它。但通常情况下,可以使用与生成图像相同的模型进行修复。
要安装v1.5修复模型,下载模型检查点文件并将其放在文件夹中
stable-diffusion-webui/models/Stable-diffusion
在 AUTOMATIC1111 中,按左上角检查点选择下拉框旁边的刷新图标。选择sd-v1-5-inpainting.ckpt
以启用模型。
创建修复遮罩
在 AUTOMATIC1111 GUI 中,选择 img2img 选项卡并选择 Inpaint 子选项卡。将图像上传到修复画布。
我们将同时修复右臂和脸部。使用画笔工具创建蒙版。这是您希望稳定扩散重新生成图像的区域。
使用画笔工具创建蒙版。
修复设置
迅速的
您可以重复使用原始提示来修复缺陷。这就像生成多张图像,但仅限于特定区域。
图片大小
图片大小需要调整为与原图一致。(在本例中为 704 x 512)。
面部修复
如果您正在修复面部,您可以打开恢复面部。您还需要选择并应用要在“设置”选项卡中使用的面部修复模型。CodeFormer 是一个很好的工具。
请注意,此选项可能会产生不自然的外观。它还可能会生成一些与模型样式不一致的东西。
面具内容
下一个重要设置是 Mask Content。
如果您希望结果以原始内容的颜色和形状为导向,请选择原始。修复面部时经常使用原始图像,因为一般形状和解剖结构都可以。我们只是想让它看起来有点不同。
在大多数情况下,您将使用 Original 并更改去噪强度来实现不同的效果。
如果您想重新生成与原来完全不同的东西,例如移除肢体或隐藏一只手,您可以使用潜在的噪音或潜在的无。这些选项用原始图像以外的东西初始化蒙版区域。它将产生完全不同的东西。
去噪强度
去噪强度控制它与原始图像相比会产生多少变化。当你将它设置为 0 时,什么都不会改变。当你将它设置为 1 时,你将得到一个不相关的修复。
0.75 通常是一个很好的起点。如果您想减少更改,请减少。
批量大小
确保一次生成几张图像,以便您可以选择最好的图像。将种子设置为 -1,以便每个图像都不同。
修复图像
又一轮修复
我喜欢最后一个,但新上漆的手臂下多了一只手。按照上传此图像和创建遮罩的类似步骤操作。必须将屏蔽内容设置为潜在噪声才能生成完全不同的内容。
腋下的手在第二轮修复中被移除:
使用修复去除手臂下多余的手。
这是我的最终形象。
并排比较
左:原始。右:修补 2 次。
修复是一个迭代过程。您可以根据需要多次应用它来优化图像。
有关修复的另一个更极端的例子,请参阅这篇文章。
请参阅使用修复移除多余肢体的教程。
添加新对象
有时你想给图像添加一些新的东西。
让我们尝试在图片中添加一把手扇。
首先,将图像上传到修复画布,并在胸部和右臂周围创建一个蒙版。
在原提示的开头增加提示“手执扇子”。修复的提示是
(手持扇子:1.2),[艾玛·沃特森:琥珀之声:0.5],(长发:0.5),headLeaf,头戴斯托拉,广阔的罗马宫殿,大窗户,中世纪文艺复兴时期的宫殿,((大房间)),4k , arstation, 错综复杂, 优雅, 非常详细
将新对象添加到原始提示可确保样式的一致性。可以调整关键词权重(上文1.2)来让粉丝展示。
将屏蔽内容设置为潜在噪声。
调整去噪强度和 CFG 比例以微调修复后的图像。
经过一些实验,我们的任务完成了:
添加带有修复功能的手扇。
修复参数说明
去噪强度
去噪强度控制最终图像对原始内容的尊重程度。将其设置为 0 不会改变任何内容。设置为 1 你得到一个不相关的图像。
如果您想要小的变化,请设置为低值;如果您想要大的变化,请设置为高值。
改变去噪强度。如果您想要小的零钱,请设置为低值;如果您想要大的零钱,请设置为高值。
CFG规模
与文本到图像的使用类似,分类器自由指导量表是一个参数,用于控制模型应在多大程度上尊重您的提示。
1 – 大多忽略你的提示。3 – 更有创意。7 – 遵循提示和自由之间的良好平衡。15 – 更加遵守提示。30 – 严格遵循提示。
屏蔽内容
屏蔽内容控制屏蔽区域的初始化方式。
- 填充:使用原始图像的高度模糊进行初始化。
- 原文:未经修改。
- 潜在噪声:使用填充和随机噪声初始化的蒙版区域被添加到潜在空间。
- Latent nothing:类似于潜在噪声,除了没有噪声被添加到潜在空间。
以下是任何采样步骤之前的初始掩码内容。这使您对它们是什么有所了解。
屏蔽内容。
修补技巧
成功的修复需要耐心和技巧。这里有一些使用修复的带回家
- 一次一个小区域。
- 在 90% 的情况下,将屏蔽内容保持在原始状态并调整去噪强度。
- 试玩屏蔽内容,看看哪一个效果最好。
- 如果在 AUTOMATIC1111 的设置中没有任何效果,请使用 Photoshop 或 GIMP 等照片编辑软件,以您想要的粗略形状和颜色绘制感兴趣的区域。上传该图像并使用原始内容进行修复。
这是初学者指南系列的第 3 部分。阅读第 1 部分:绝对初学者指南。阅读第 2 部分:提示构建。阅读第 4 部分:模型。