ComfyUI
和Krita
结合使用主要依赖于Krita的一款插件krita-ai-diffusion
。这是一个用于在 Krita 中的图像绘画和编辑工作流程中使用生成式 AI 的插件。主要有以下功能:
- 图像修复:使用选区进行生成性填充、扩展,添加或移除对象。
- 实时绘画:让 AI 实时解释您的画布并立即提供反馈。观看视频
- 放大:放大并增强图像至 4K、8K 或更高分辨率,而不会耗尽内存。
- Stable Diffusion:支持 Stable Diffusion 1.5 和 XL,部分支持 SD3。
- ControlNet:支持草图、线稿、Canny 边缘检测、姿势、深度、法线、分割等功能。
- IP-Adapter:支持参考图像、风格和构图迁移、人脸替换等功能。
- 区域划分:为通过图层定义的图像区域分配单独的文本描述。
- 任务队列:在处理图像时,可以排队生成任务并取消操作。
- 历史记录:随时预览结果并浏览之前的生成和提示。
- 默认设置:多功能的默认风格预设,简化 UI 操作。
- 自定义:创建您自己的预设——包括自定义检查点、LoRA、采样器等。
Krita和插件krita-ai-diffusion安装
Krita 是一个免费的开源数字绘画软件,专为艺术家、插画师、概念设计师、漫画创作者等专业用户设计。它提供了丰富的绘画工具和功能,支持从简单的草图绘制到复杂的插画和漫画创作。
- 下载安装Krita客户端下载地址:
https://krita.org/zh-cn/download/
- 下载安装krita-ai-diffusion插件下载地址:
https://github.com/Acly/krita-ai-diffusion/releases/download/v1.25.0/krita_ai_diffusion-1.25.0.zip
安装步骤:启动krita
⟶依次选择菜单[工具]-[脚本]-[从文件导入python插件]-[选择zip插件包导入]
⟶重启krita
在右下方可以看到AI Image Generation
功能区域,表示插件安装完成 - 配置插件操作步骤:
点击AI Image Generation区域的Configure按钮
⟶Connection中选择Custom Server(local or remote)
⟶填写ComfyUI访问地址,默认是127.0.0.1:8188
注意:
如果ComfyUI只是初步安装完成,这时候在krita中连接ComfyUI会报以下错误,说明krita-ai-diffusion插件依赖ComfyUI中的
ControlNet Preprocessors
、IP-Adapter
、External Tooling
、Inpaint Nodes
等插件,参考上方ComfyUI插件安装Error: The following ComfyUI custom nodes are missing: ControlNet Preprocessors https://github.com/Fannovel16/comfyui_controlnet_aux IP-Adapter https://github.com/cubiq/ComfyUI_IPAdapter_plus External Tooling Nodes https://github.com/Acly/comfyui-tooling-nodes Inpaint Nodes https://github.com/Acly/comfyui-inpaint-nodes Please install or update the custom node package, then restart the server and try again.
- 下载模型krita-ai-diffusion运行需要的模型有:
- 共享模型
- Clip-Vision:
models/clip_vision/SD1.5
- NMKD Superscale SP_178000_G:
models/upscale_models
- OmniSR_X2_DIV2K:
models/upscale_models
- OmniSR_X3_DIV2K:
models/upscale_models
- OmniSR_X4_DIV2K:
models/upscale_models
- MAT_Places512_G_fp16:
models/inpaint
- Clip-Vision:
- SD 1.5模型
- ControlNet inpaint:
models/controlnet
- ControlNet tile:
models/controlnet
- IP-Adapter (SD1.5):
models/ipadapter
- Hyper-SD-LoRA (SD1.5):
models/loras/
- ControlNet inpaint:
- SD XL模型
- IP-Adapter (SDXL):
models/ipadapter
- Hyper-SD-LoRA (SDXL):
models/loras
- Fooocus Inpaint (Head):
models/inpaint
- Fooocus Inpaint (Patch):
models/inpaint
- IP-Adapter (SDXL):
- 基座模型
- 共享模型