ComfyUI PhotoMaker

Unofficial implementation of PhotoMaker for ComfyUI

单张参考与多张参考的对比：

项目介绍 | Info

• 来自对PhotoMaker的非官方实现

• 版本：V2.5 支持lora、支持多批次、支持通用的styler

视频演示

PHOTOMAKER.V2.0.mp4

节点说明 | Features

• 基础模型加载 | base model loader

  • 📷Base Model Loader from hub🤗：支持从 huggingface hub 自动下载模型，输入模型名称（如：SG161222/RealVisXL_V3.0）即可
  • 📷Base Model Loader locally：支持加载本地模型（需 SDXL 系列模型）

• PhotoMaker Adapter 模型加载 | PhotoMaker Adapter Loader

  • 📷PhotoMaker Adapter Loader from hub🤗：支持从 huggingface hub 自动下载模型
  • 📷PhotoMaker Adapter Loader locally：支持加载本地模型，输入 photomaker-v1.bin 模型所在路径即可

• 参考图预处理 | 📷Ref Image Preprocessing

  • 直接模式 | Direct_input：接入单/多张图像（非必要项）
  • 路径模式 | Path_input：自动读取路径中的所有图像

• Lora模型加载 | 📷LoRALoader 🆕

  • 支持加载本地 lora 模型
  • 支持权重调节

• 提示词 + 风格 | 📷Prompt_Styler 🆕

  • 与各种提示词（文本）输入（如肖像大师等）、styler兼容
  • prompt、negative：正负提示词
  • 支持权重调节
  • style_name：支持官方提供的10种风格
    • (No style)
    • Cinematic
    • Disney Charactor
    • Digital Art
    • Photographic (Default)
    • Fantasy art
    • Neonpunk
    • Enhance
    • Comic book
    • Lowpoly
    • Line art

• PhotoMaker 生成 | 📷PhotoMaker Generation 🆕

  • pipe：接入模型
  • pil_image：接入预处理图像
  • positivet、negative：正负提示词
  • batch_size：生成数量
  • style_strength_ratio：风格混合强度（高于30按30计算）
  • step：步数，官方默认50步，但毕竟是基于SDXL模型，我实测下来30步足够了
  • guidance_scale：提示词相关度，一般默认为5
  • width、height：尺寸设置（需1024维度）
  • seed：种子

风格 | Styles

安装 | Install

• 手动安装：
  1. cd custom_nodes
  2. git clone https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker.git
  3. cd custom_nodes/ComfyUI-PhotoMaker
  4. pip install -r requirements.txt
  5. 重启 ComfyUI

工作流 | Workflows

• V2.5 lora + batch 🆕

  

• V2.5 portraitmaster + styler + lora 🆕

  

• V2.5 本地模型 locally

• V2.5 自动下载 huggingface hub

（注：特意补充了 V2.5 的基础工作流，V2.0 工作流已弃用）

更新日志

• 20240121

  修复 bfloat16 bug

• 20240120

  补充两个基础工作流

• 20240119

  更新为 V2.5：支持lora、支持自定义生成数量、支持通用提示词输入（文本）如：styler、portraitmater等

  新增 lora + batch、portraitmaster + styler + lora 两个工作流

• 20240119

  更新为 V2.1：参考图改为直接输入/路径输入两种新模式，其中直接输入支持多图

  

• 20240118

  更新为 V2.0：节点拆分 + 支持本地模型 + 支持自定义尺寸 +提速3倍

  新增本地、hub加载工作流

• 20240117

  新增单张图输入，并给出对比图

  修复bug，初版上线

• 20240116

  创建项目

速度实测 | Speed

• V2.0 提速 3 倍

  • A100 50步 7s

  

• V1.5

  • A100 50步 23s

  

  • v100 50步 90s

  

Stars

Credits

感谢@erLin对ComfyUI 的图像张量 Shape (N, H, W, C)的提醒，帮助我成功修复了bug！

PhotoMaker