unCLIP 模型是 SD 模型的版本,经过特别调整,除了文本提示外,还可以接收图像概念作为输入。使用这些模型附带的 CLIPVision 对图像进行编码,然后在采样时将其提取的概念传递给主模型。
它基本上让你在提示中使用图像。
以下是在 ComfyUI 中使用它的方法(您可以将其拖入ComfyUI以获取工作流程):
noise_augmentation 控制模型尝试遵循图像概念的程度。值越低,它就越遵循概念。
强度是指它对图像的影响有多强烈。
可以像这样使用多个图像:
您会注意到它并没有按照传统方式将图像混合在一起,而是从两者中挑选一些概念并形成一个连贯的图像。
输入图像:
你可以在这里找到官方的 unCLIP 检查点
您可以在这里(基于 WD1.5 beta 2)和这里(基于 illuminati Diffusion)找到我根据一些现有的 768-v 检查点制作的一些 unCLIP 检查点,并进行了一些巧妙的合并
更高级的工作流程
使用 unCLIP 检查点的一个好方法是将它们用于 2 遍工作流程的第一遍,然后切换到 1.x 模型进行第二遍。这就是生成以下图像的方式。(您可以将其加载到ComfyUI中以获取工作流程):