创建时间
Jan 8, 2025 06:00 AM
标签
学习
status
标记
标记
tags
date
category
summary
type
slug
教程源
利用各路大模型，基于节点组合操作，达到理想效果！
快捷键
模型
ComfyUI 中用到的模型种类非常之多，为了方便理解和学习，我们可以对模型进行分类，大致可以分为以下几类：
1. checkpoint 主模型、大模型、底模、基础模型等。通过特定训练最终形成的一个保持该领域特征的一种综合算法合集，可以精准的匹配你的需求。比如摄影写实模型、3D模型、二次元模型、室内设计模型等等。Checkpoint 的训练难度大，需要的数据集大，生成的体积也较大，动则占用几个G的磁盘空间。
2. Lora Lora 模型作为大模型的一种补充，能对生成的图片进行单一特征的微调，比如生成的人物图片具有相同的人脸特征、穿着特定服装、具备特定画风等等。Lora 模型体积较小，一般几十几百兆， 个人主机就可训练自己需要的 Lora 模型。
3. VAE VAE 模型可以当作滤镜，目前针对 Stable Diffusion 主流的 VAE 模型有两个，二次元使用
kl-f8-anime2VAE, 写实风格使用 vae-ft-mse-840000-ema-pruned。4. EMBEDDING 文本嵌入模型，应用于提示词中，是一类经过训练的提示词合集，主要用来提升画质，规避一些糟糕的画面。比如：
badhandv4、Bad_picture、bad_prompt、NG_Deep Negative、EasyNegative，这些是经常用到的反向提示词嵌入模型，可以单独使用或者组合使用。5. 其它 比如 controlnet模型、ipadapter模型、faceswap 模型、放大模型等等
对于 Stable Diffusion 的模型，现在也有了众多版本。常见版本有 SD1.5、SD2.0/2.1、 SDXL，其中 SDXL 模型生成的图片质量最高，相应地对硬件要求也相对高一点，而 SD1.5 生态最完善，这两个版本使用的最多。
需要强调的一点是：使用时，不同类型模型的版本需要对应上，比如主模型选择的是 SDXL 版本，Lora 使用 SD1.5 模型是无法正常运行的。
提示词
1. 理解 ComfyUI 的提示词结构：
在 ComfyUI 中，你通常使用
CLIPTextEncode 节点来编码你的文本提示词。这个节点接受文本输入，并将其转换为 Stable Diffusion 模型可以理解的格式。你可以使用两个 CLIPTextEncode 节点，一个用于正面提示词（Prompt），一个用于负面提示词（Negative Prompt 或 Anti-Prompt）。2. 编写有效的正面提示词：
- 清晰简洁： 用清晰、具体的语言描述你想要的图像内容。避免使用过于抽象或模糊的词语。
- 关键词优先： 将最重要的关键词放在提示词的前面，因为模型更倾向于关注提示词的前几个词。
- 使用逗号分隔： 使用逗号来分隔不同的概念或描述，这有助于模型更好地理解每个部分的含义。
- 描述细节： 尽可能详细地描述图像的各个方面，例如：
- 主体： 一个红色的苹果，放在木桌上
- 环境： 阳光明媚的户外，绿色的草地
- 构图： 特写镜头，黄金分割构图
- 风格： 超逼真，照片级，8k 分辨率
- 光照： 柔和的侧光
- 使用艺术术语： 使用绘画、摄影或设计中的术语，例如“印象派”、“巴洛克风格”、“电影灯光”、“景深”等，可以引导生成更具艺术性的图像。
3. 编写有效的负面提示词：
负面提示词用于排除你不希望在图像中出现的内容。例如：
- 常见的负面词： “畸形的手指”、“模糊”、“低分辨率”、“重复的物体”、“额外的肢体”、“变形”、“扭曲”等。
- 针对性的负面词： 根据你生成图像的特点，添加特定的负面词。例如，如果你生成人像，可以添加“闭眼”、“红眼”等。
4. 利用 ComfyUI 的节点特性：
- 多个
CLIPTextEncode节点： 你可以使用多个CLIPTextEncode节点，并将它们的输出连接到CLIPSetLastLayer节点，以实现更复杂的提示词组合和权重控制。
- 使用变量和参数： ComfyUI 允许你使用变量和参数来动态地修改提示词，这对于批量生成或参数化探索非常有用。
- 使用提示词模板： 你可以创建包含占位符的提示词模板，然后使用节点来填充这些占位符，从而快速生成不同的变体。
- 使用
KSampler节点的denoise参数： 通过调整KSampler节点的denoise参数，可以控制图像的生成程度。较低的denoise值会生成更接近输入的图像，较高的值则会生成更多样化的图像。
- 使用不同的采样器： ComfyUI 支持多种采样器，例如 Euler a、LMS、DDIM 等。不同的采样器会产生不同的效果，你可以尝试不同的采样器来找到最适合你的图像的生成效果。
5. 实例：
假设你想生成一张逼真的猫咪照片，可以这样写提示词：
- 正面提示词：
a photo of a cute fluffy tabby cat, sitting on a windowsill, sunlight, 8k, photorealistic, sharp focus, intricate details
- 负面提示词：
blurry, low quality, distorted features, extra limbs, bad anatomy
在 ComfyUI 中，你可以将这些提示词分别输入到两个
CLIPTextEncode 节点，然后将它们的输出连接到后续的节点。提示词演示
a high-quality product photo of Gift box on a soft, plush, light pink velvet background. The background should feature delicate, pastel pink polka dots. The product should be styled with flowing silk fabric, creating a luxurious and elegant atmosphere. Realistic lighting and shadows for a high-end product look.
comfyUI运行中遇到的问题
- 运行成功两张图片之后，再运行出现黑图情况？
