🧐 什么是稳定扩散?
稳定扩散是开源的潜在文本到图像扩散模型。您可以在此处找到更多信息或自己尝试 – 此处提供代码。
🎯 我们的目标是什么,我们将如何实现它?
我们的目标是使用插值过程制作视频。我们将使用稳定扩散模型生成图像,然后我们将使用它们制作视频。幸运的是,我们不必自己编写代码来进行潜在空间之间的插值。我们将使用 stable_diffusion_videos 库。如果你想确切地知道它是如何工作的,请随意浏览 Github 上的代码。如果您需要帮助 – 请在本指南的专用频道上提问。您会在我们的 Discord 上找到它!
要运行本教程,我们将使用 Google Colab 和 Google Drive
⚙️ 准备依赖项
首先,您需要安装所有依赖项并将我们的 Google Drive 与 Colab 连接 – 以保存电影和帧。你可以通过运行来做到这一点:
from google.colab import drivedrive.mount('/content/drive')
进而:
!pip install stable_diffusion_videos
下一步是使用 Hugging Face 进行身份验证。你可以在这里找到你的代币。
!huggingface-cli login
🎥 生成图像/视频
要生成视频,我们需要定义将在哪个模型之间进行插值的提示。我们将为此使用字典:
prompts = { 'blonde woman': 897, 'brunette woman': 897}
现在我们可以使用以下方法生成图像/视频:
from stable_diffusion_videos import walkwalk( prompts=list(prompts.keys()), seeds=list(prompts.values()), output_dir='./drive/MyDrive/dir1', # Where images/video will be saved name='subdir', # Subdirectory of output_dir where images/video will be saved guidance_scale=6.25, # Higher adheres to prompt more, lower lets model take the wheel num_steps=100, # Number of generated frames num_inference_steps=50, # Number of steps by model to generate one image scheduler='klms', disable_tqdm=False, make_video=True, # If false, just save images use_lerp_for_text=True, do_loop=False,)
此过程可能需要很长时间,具体取决于传递的参数。
有一些参数描述,但如果您想了解更多 – 请查看 stable_diffusion_videos 代码!我在提示之间使用 100 个步骤,但您可以使用更多步骤以获得更好的结果。您还可以修改num_inference_steps
和其他参数。随意尝试!运行此代码后,您将在 Google Drive 中找到该视频。您可以下载并观看并与您的朋友分享!
如果您想重现我的结果 – 只需复制并粘贴下面的代码,但我建议使用您自己的提示并试验模型 – 这是值得的!
➕ 奖金
您可以使用两个以上的提示。例子:
prompts = { 'blonde woman': 897, 'brunette woman': 897, 'ball': 10}
感谢阅读!坐等后续教程!– AI未来百科 ; 探索AI的边界与未来! 懂您的AI未来站