Stable Diffusion 教程:如何使用 Stable Diffusion 制作视频? – 插值

Stable Diffusion 教程:如何使用 Stable Diffusion 制作视频? - 插值

🧐 什么是稳定扩散?

稳定扩散是开源的潜在文本到图像扩散模型。您可以在此处找到更多信息或自己尝试 – 此处提供代码。

🎯 我们的目标是什么,我们将如何实现它?

我们的目标是使用插值过程制作视频。我们将使用稳定扩散模型生成图像,然后我们将使用它们制作视频。幸运的是,我们不必自己编写代码来进行潜在空间之间的插值。我们将使用 stable_diffusion_videos 库。如果你想确切地知道它是如何工作的,请随意浏览 Github 上的代码。如果您需要帮助 – 请在本指南的专用频道上提问。您会在我们的 Discord 上找到它!

要运行本教程,我们将使用 Google Colab 和 Google Drive

⚙️ 准备依赖项

首先,您需要安装所有依赖项并将我们的 Google Drive 与 Colab 连接 – 以保存电影和帧。你可以通过运行来做到这一点:

from google.colab import drivedrive.mount('/content/drive')

进而:

!pip install stable_diffusion_videos

下一步是使用 Hugging Face 进行身份验证。你可以在这里找到你的代币。

!huggingface-cli login

🎥 生成图像/视频

要生成视频,我们需要定义将在哪个模型之间进行插值的提示。我们将为此使用字典:

prompts = {    'blonde woman': 897,    'brunette woman': 897}

现在我们可以使用以下方法生成图像/视频:

from stable_diffusion_videos import walkwalk(    prompts=list(prompts.keys()),    seeds=list(prompts.values()),    output_dir='./drive/MyDrive/dir1',     # Where images/video will be saved    name='subdir',                         # Subdirectory of output_dir where images/video will be saved    guidance_scale=6.25,                   # Higher adheres to prompt more, lower lets model take the wheel    num_steps=100,                         # Number of generated frames    num_inference_steps=50,                # Number of steps by model to generate one image    scheduler='klms',    disable_tqdm=False,    make_video=True,                       # If false, just save images    use_lerp_for_text=True,    do_loop=False,)

此过程可能需要很长时间,具体取决于传递的参数。

有一些参数描述,但如果您想了解更多 – 请查看 stable_diffusion_videos 代码!我在提示之间使用 100 个步骤,但您可以使用更多步骤以获得更好的结果。您还可以修改num_inference_steps和其他参数。随意尝试!运行此代码后,您将在 Google Drive 中找到该视频。您可以下载并观看并与您的朋友分享!

如果您想重现我的结果 – 只需复制并粘贴下面的代码,但我建议使用您自己的提示并试验模型 – 这是值得的!

➕ 奖金

您可以使用两个以上的提示。例子:

prompts = {    'blonde woman': 897,    'brunette woman': 897,    'ball': 10}

感谢阅读!坐等后续教程!– AI未来百科 ; 探索AI的边界与未来! 懂您的AI未来站

声明:本站部分文章来源于网络,如有侵犯您的合法权益,请您即时与我们联系,我们将在第一时间处理。如需转载本站文章,请在转载时标明出处并保留原文链接,否则我们将保留追究法律责任的权利。

给TA打赏
共{{data.count}}人
人已打赏
AI教程

Stable Diffusion与OpenAI Whisper提示教程:基于语音生成图片-Whisper & 稳定扩散

2023-5-4 20:50:52

AI教程

Stable Diffusion 提示教程:Stable Diffusion 提示工程的基础知识

2023-5-4 20:51:01

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧