什么是稳定扩散中的超网络？
Hypernetwork 是一种微调技术，最初由 Novel AI 开发，Novel AI 是 Stable Diffusion 的早期采用者。它是一个附加到稳定扩散模型的小型神经网络，用于修改其样式。
小型超网络插入哪里？当然，它是稳定扩散模型中最关键的部分：噪声预测器 UNet 的交叉注意模块。LoRA 模型类似地修改了稳定扩散模型的这一部分，但方式不同。
超网络通常是一个简单的神经网络：一个带有 dropout 和 activation 的完全连接的线性网络。就像您将在神经网络入门课程中学习的那些一样。他们通过插入两个网络来转换键和查询向量来劫持交叉注意力模块。比较下面的原始模型架构和被劫持的模型架构。
原始Stable Diffusion模型的cross-attention模块。
超网络注入额外的神经网络来转换键和值。
在训练期间，稳定扩散模型被锁定，但附加的超网络允许改变。由于超网络很小，训练很快并且需要有限的资源。培训可以在普通计算机上完成。
快速训练和小文件大小是超网络的主要吸引力。
你应该知道它与机器学习中通常所说的超网络不同。这是一个为另一个网络生成权重的网络。所以不，稳定扩散的超网络并不是在 2016 年发明的。
与其他模型类型的区别
我将解释超网络和其他模型类型之间的区别，以帮助您理解和决定使用哪一种。
本节适用于好奇的头脑或模型培训师。如果您不关心它们的工作原理，可以跳到下一节。
检查点模型
检查点模型包含生成图像所需的所有信息。您可以通过它们的大文件大小来识别它们。它们的范围从 2 到 7 GB。超网络通常低于 200 MB。
超网络无法单独运作。它需要使用检查点模型来生成图像。
检查点模型比超网络更强大。它可以比超网络更好地存储样式。在训练检查点模型时，整个模型都会进行微调。训练超网络时，仅对超网络进行微调。
LoRA模型
LoRA 模型与超网络最相似。它们都很小，只修改交叉注意力模块。区别在于他们如何修改它。LoRA 模型通过改变其权重来修改交叉注意力。Hypernetwork 通过插入额外的网络来做到这一点。
用户普遍发现 LoRA 模型产生更好的结果。它们的文件大小相似，通常低于 200MB，并且比检查点模型小得多。
LoRA是一种数据存储方式。它没有定义培训过程，可以是 Dreambooth 或额外培训。超网络定义了训练。
嵌入
嵌入是一种称为文本反转的微调方法的结果。与超网络一样，文本倒置不会改变模型。它只是定义新的关键字来实现某些样式。
文本倒置和超网络在稳定扩散模型的不同部分起作用。文本反转在文本编码器中创建新的嵌入。Hypernetwork 将一个小型网络插入到噪声预测器的交叉注意力模块中。
根据我的经验，嵌入比超网络稍微强大一些。
在哪里可以找到超网络
最好的地方是 civitai.com。使用 Hypernetwork 过滤模型类型。
如何使用超网络
我将向您展示如何在 AUTOMATIC1111 Stable Diffusion GUI 中使用超网络。您可以在 Windows、Mac 或 Google Colab 上使用此 GUI。
第一步：安装超网络模型
要在 AUTOMATIC1111 webui 中安装超网络模型，请将模型文件放在以下文件夹中。
stable-diffusion-webui/models/hypernetworks第 2 步：使用超网络模型
要使用超网络，请在提示中输入以下短语。
<hypernet:filename:multiplier>filename是超网络的文件名，不包括扩展名（.pt、.bin等）。
multiplier是应用于超网络模型的权重。默认值为 1。将其设置为 0 将禁用该模型。
你怎么能确定文件名是正确的？不要写这个短语，你应该点击大“生成”按钮下的模型按钮。
单击超网络选项卡。您应该会看到已安装的超网络列表。单击您要使用的那个。
hypernet 短语将插入提示中。
请注意，hypernet 短语不被视为提示的一部分。它只是指示使用哪个超网络。应用超网络后它将被删除。所以你不能像[keyword1:keyword2:0.5]他们一样使用任何提示语法。
第 3 步：使用模型测试和创作艺术品
为了给自己最大的成功解锁预期风格的机会，首先将它与训练它的模型一起使用。但不要就此止步。某些超网络需要特定提示或仅适用于特定主题，因此请务必查看模型页面上的提示示例以查看最有效的方法。
这里有一个专业提示：如果您发现图像看起来有点过于饱和，则可能表明您需要调整倍增器。这是一个简单的修复。Stable Diffusion 有时可以将色彩饱和度解释为达到目标的完美方式，但减少乘数可以帮助让事情恢复平衡。
一旦您确认您的超网络正在发挥其魔力，为什么不在其他模型上尝试使用它呢？您永远不知道会出现什么有趣和意想不到的效果，说实话，玩起来很有趣。所以来吧，让你的创造力尽情发挥吧。
我使用的一些超网络
这是我对超网络的偏向选择。
水元素
水元素是一个独特的超级网络，可以将任何东西变成水！在主题前使用短语“水元素”。请务必描述背景。您可以将此超网络与 Stable Diffusion v1.5 一起使用。改变超网络权重来调整流水效果。
水元素超网络模型页面
迅速的：
水元素女人穿过繁忙的街道 <hypernet:waterElemental_10:0.7>
迅速的：
水元素男孩在水面上奔跑 <hypernet:waterElemental_10:1>
机箱风格
InCase Style 与 Anything v3 模型一起使用。它修改了 Anything v3 模型以产生更成熟的动漫风格。
InCase Hybernetwork 模型页面
Anything v3 模型页面
迅速的：
detailed face, a beautiful woman, explorer in forest, white top, short brown pants, hat, sky background, realism, small breast <hypernet:incaseStyle_incaseAnythingV3:1>
否定提示：
moon, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, extra limbs, disfigured, deformed, body out of frame, bad anatomy, watermark, signature, cut off, low contrast, underexposed, overexposed, bad art, beginner, amateur, distorted face, blurry, draft, grainy, large breast
哥特式 RPG 艺术风格
Gothic RPG Artstyle 产生时尚的单色插画风格。与 Protogen 模型一起使用。
哥特式 RPG 艺术风格 Hypernetwork 模型页面
Protogen v2.2 模型页面
迅速的：
在城市街道上绘制男性皮夹克赛博朋克 2077 by WoD1 <hypernet:gothicRPGArtstyle_v1:1>
读物
如果您有时间打发时间，这里有一些有趣的读物。
Hypernetwork Style Training，一个小指南——详细的培训指南。
Illustrated self-attention – 解释self-attention机制的数学原理，类似于cross-attention。
NovelAI 对稳定扩散的改进——请参阅“超网络”部分了解他们的贡献。其他改进也很有趣。
Adding Conditional Control to Text-to-Image Diffusion Models – 这是 ControlNet 论文，但在第 2.1 节（相关作品）中包含对超网络的说明。