ComfyUI - 具有图形/节点界面的强大且模块化的稳定扩散 GUI。

Created at: 2023-01-17 11:15:56
Language: Python
License: GPL-3.0

ComfyUI的

最强大、模块化最稳定的扩散 GUI 和后端。

ComfyUI 截图

此 ui 将允许你使用基于图形/节点/流程图的界面设计和执行高级稳定扩散管道。对于一些工作流程示例,看看ComfyUI可以做什么,你可以查看:

ComfyUI 示例

安装 ComfyUI

特征

工作流示例可在“示例”页面上找到

快捷方式

键绑定 解释
Ctrl + 回车 将当前图形排队以供生成
Ctrl + Shift + Enter 将当前图形排成第一个队列以供生成
Ctrl + Z/Ctrl + Y 撤消/重做
Ctrl + S 保存工作流
Ctrl + O 加载工作流
Ctrl + 一个 选择所有节点
Alt + C 折叠/取消折叠所选节点
Ctrl + M 静音/取消静音所选节点
Ctrl + B 绕过选定的节点(就像从图形中删除节点并重新连接电线一样)
删除/退格 删除所选节点
Ctrl + 删除/退格键 删除当前图形
空间 按住画布并移动光标时四处移动画布
Ctrl/Shift + 单击 将单击的节点添加到所选内容
Ctrl + C/Ctrl + V 复制和粘贴选定的节点(不维护与未选定节点输出的连接)
Ctrl + C/Ctrl + Shift + V 复制和粘贴选定的节点(维护从未选定节点的输出到粘贴节点的输入的连接)
Shift + 拖动 同时移动多个选定节点
Ctrl + D 加载默认图形
Q 切换队列的可见性
H 切换历史记录的可见性
R 刷新图表
双击 LMB 打开节点快速搜索面板

对于macOS用户,Ctrl也可以替换为Cmd

安装

窗户

有一个适用于 Windows 的便携式独立版本,它应该适用于在 Nvidia GPU 上运行或仅在版本页面上的 CPU 上运行。

直接下载链接

只需下载,使用 7-Zip 解压并运行。确保将 Stable Diffusion 检查点/模型(巨大的 ckpt/safetensors 文件)放在:ComfyUI\models\checkpoints 中

如果在提取时遇到问题,请右键单击文件 -> properties -> 取消阻止

如何在另一个UI和ComfyUI之间共享模型?

请参阅配置文件以设置模型的搜索路径。在独立的 Windows 版本中,你可以在 ComfyUI 目录中找到此文件。将此文件重命名为 extra_model_paths.yaml,并使用你喜欢的文本编辑器对其进行编辑。

Jupyter 笔记本

要在 paperspace、kaggle 或 colab 等服务上运行它,你可以使用我的 Jupyter Notebook

手动安装(Windows、Linux)

Git 克隆此存储库。

把你的SD检查点(巨大的ckpt/safetensors文件)放在:模型/检查点

将你的 VAE 放入:models/vae

AMD GPU(仅限 Linux)

AMD 用户可以使用 pip 安装 rocm 和 pytorch,如果你还没有安装它,这是安装稳定版本的命令:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.7

这是使用 ROCm 6.0 安装夜间的命令,可能会有一些性能改进:

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm6.0

英伟达

Nvidia 用户应使用以下命令安装稳定的 pytorch:

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

这是每晚安装 pytorch 的命令,它可能会提高性能:

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu121

故障 排除

如果你收到“Torch not compiled with CUDA enabled”错误,请使用以下命令卸载 torch:

pip uninstall torch

然后使用上面的命令再次安装它。

依赖

通过在 ComfyUI 文件夹中打开终端来安装依赖项,然后:

pip install -r requirements.txt

在此之后,你应该已经安装了所有内容,并可以继续运行ComfyUI。

别人:

英特尔锐炫

Apple Mac 芯片

你可以在任何最新的 macOS 版本的 Apple Mac 芯片(M1 或 M2)中安装 ComfyUI。

  1. 每晚安装 pytorch。有关说明,请阅读 Mac 上的加速 PyTorch 训练 Apple 开发人员指南(确保每晚安装最新的 pytorch)。
  2. 按照适用于 Windows 和 Linux 的 ComfyUI 手动安装说明进行操作。
  3. 安装 ComfyUI 依赖项。如果你有其他 Stable Diffusion UI,则可以重用依赖项
  4. 通过运行 启动 ComfyUI。请注意,--force-fp16 仅在每晚安装最新的 pytorch 时才有效。
    python main.py --force-fp16

注意:记得将你的模型、VAE、LoRA 等添加到相应的 Comfy 文件夹中,如 ComfyUI 手动安装中所述。

DirectML(Windows 上的 AMD 卡)

pip install torch-directml
然后,你可以使用以下命令启动ComfyUI:
python main.py --directml

我已经安装了另一个用于 Stable Diffusion 的 UI,我真的必须安装所有这些依赖项吗?

你没有。如果你安装了另一个 UI 并使用它自己的 python venv,你可以使用该 venv 来运行 ComfyUI。你可以打开自己喜欢的终端并激活它:

source path_to_other_sd_gui/venv/bin/activate

或在 Windows 上:

使用 Powershell:

"path_to_other_sd_gui\venv\Scripts\Activate.ps1"

使用cmd.exe:

"path_to_other_sd_gui\venv\Scripts\activate.bat"

然后,你可以使用该终端运行ComfyUI,而无需安装任何依赖项。请注意,venv 文件夹可能被称为其他名称,具体取决于 SD UI。

运行

python main.py

对于 ROCm 未正式支持的 AMD 显卡

如果遇到问题,请尝试使用以下命令运行它:

对于 6700、6600 和其他 RDNA2 或更早版本:

HSA_OVERRIDE_GFX_VERSION=10.3.0 python main.py

对于 AMD 7600 和其他 RDNA3 卡:

HSA_OVERRIDE_GFX_VERSION=11.0.0 python main.py

笔记

只有具有所有正确输入的输出的图形部分才会被执行。

只有从每次执行到下一次执行的图形更改部分才会被执行,如果你两次提交相同的图形,则只会执行第一次。如果更改图形的最后一部分,则只会执行你更改的部分和依赖于它的部分。

在网页上拖动生成的 png 或加载一个 png 将为你提供完整的工作流程,包括用于创建它的种子。

你可以使用 () 来更改单词或短语的重音,例如:(good code:1.2) 或 (bad code:0.8)。() 的默认强调为 1.1。要在实际提示中使用 () 字符,请像 \( 或 \) 一样转义它们。

你可以使用 {day|night} 进行通配符/动态提示。使用此语法,“{wild|card|test}”将在每次对提示进行排队时由前端随机替换为“wild”、“card”或“test”。要在实际提示中使用 {} 个字符,请转义它们,例如:\{ 或 \}。

动态提示还支持 C 样式的注释,例如 或 。

// comment
/* comment */

要在文本提示中使用文本反转 concepts/embeddings,请将它们放在 models/embeddings 目录中,并在 CLIPTextEncode 节点中使用它们,如下所示(你可以省略 .pt 扩展名):

embedding:embedding_filename.pt

如何提高生成速度?

请确保使用常规加载程序/加载检查点节点来加载检查点。它会根据你的 GPU 自动选择正确的设置。

你可以设置此命令行设置,以在某些交叉注意力操作中禁用向上转换到 fp32,这将提高你的速度。请注意,这很可能会在 SD2.x 型号上为你提供黑色图像。如果使用 xformers 或 pytorch attention,则此选项不会执行任何操作。

--dont-upcast-attention

如何显示高质量的预览?

用于启用预览。

--preview-method auto

默认安装包括低分辨率的快速潜伏预览方法。要使用 TAESD 启用更高质量的预览,请下载 taesd_decoder.pth(适用于 SD1.x 和 SD2.x)和 taesdxl_decoder.pth(适用于 SDXL)模型,并将其放在文件夹中。安装完成后,重新启动 ComfyUI 以启用高质量的预览。

models/vae_approx

支持和开发频道

矩阵空间:#comfyui_space:matrix.org(它类似于 discord,但开源)。

质量保证

你为什么要做这个?

我想详细了解 Stable Diffusion 是如何工作的。我还想要一些干净而强大的东西,让我可以不受限制地尝试 SD。

这是给谁的?

这适用于任何想要使用 SD 制作复杂工作流程或想要详细了解 SD 工作原理的人。该界面紧跟 SD 的工作原理,代码应该比其他 SD UI 更易于理解。