1. Instalación y Configuración de ComfyUI [0]

thumbnail ComfyUI se instala descargando un archivo ZIP desde GitHub, extrayéndolo y configurando las rutas de los modelos para que apunten a las carpetas existentes de Stable Diffusion.

1.1. Descarga y Extracción de ComfyUI [0]

  1. Para instalar ComfyUI, navega a su página en GitHub y descarga el archivo ZIP. [3]
  2. Extrae el contenido del archivo ZIP en la ubicación deseada en tu disco duro. [8]
    • Por ejemplo, puedes colocarlo directamente en tu unidad C:. [9]

1.2. Configuración de Rutas de Modelos [10]

  1. Es crucial configurar las rutas de los modelos para que ComfyUI reconozca tus checkpoints y otros modelos de Stable Diffusion. [10]
  2. Dentro del directorio de ComfyUI, localiza y edita el archivo extra_model_paths.yaml. [12]
    • Asegúrate de eliminar la extensión .example del nombre del archivo. [13]
  3. En este archivo, especifica la ruta base de la unidad donde guardas tus modelos de Stable Diffusion. [15]
    • Por ejemplo, si tus modelos están en SD5, la ruta sería SD5. [16]
  4. Los modelos de ControlNet deben ser añadidos manualmente, ya que suelen estar en una subcarpeta específica (extensions/ControlNet/models) en Automatic1111. [17]
  5. Guarda los cambios en el archivo extra_model_paths.yaml. [19]

1.3. Ejecución Inicial de ComfyUI [20]

  1. Para iniciar ComfyUI por primera vez, ejecuta el archivo gpu.bat. [20]
  2. Una vez cargado, ComfyUI presentará una interfaz de nodos predeterminada. [21]

2. Generación de Imágenes con ComfyUI [22]

thumbnail La generación de imágenes en ComfyUI se realiza conectando nodos que representan diferentes etapas del proceso, desde la carga de modelos y la definición de prompts hasta la configuración del sampler y la decodificación de la imagen final.

2.1. Configuración de la Generación Básica [22]

  1. Verifica que tus checkpoints se hayan cargado correctamente desde la ruta configurada. [22]
    • Ejemplos de checkpoints para Stable Diffusion 1.5 incluyen "Epic Photogasm" y "Natural Sin". [24]
  2. Define tu prompt positivo para describir la imagen deseada, por ejemplo: "modern house in a forest with fog, photo detail realism". [26]
    • Para enfatizar elementos como la niebla, puedes usar corchetes: [fog]. [27]
  3. Introduce prompts negativos para excluir elementos no deseados, como "Cartoon, fake rendering, 3D painting". [28]
    • Los prompts positivos se asocian con el color verde y los negativos con el rojo para una fácil identificación. [31]
  4. El nodo Latent Image define el tamaño de la imagen a generar (por ejemplo, 1024x768). [36]
  5. Configura los ajustes de muestreo (sampling settings):
    • El seed se muestra y se puede aleatorizar para cada generación. [38]
    • El número de pasos de muestreo (steps) se recomienda entre 30 y 40. [41]
    • Para realismo fotográfico, se sugiere el sampler "DPM Plus+". [43]
    • Los schedulers "Caris" y "exponential" son opciones para el sampler DPM; "exponential" es bueno para superficies lisas. [47]
    • El denoising no es relevante cuando se genera desde una imagen latente vacía. [50]

2.2. Nodos Clave y Proceso de Generación [51]

  1. Los nodos esenciales incluyen:
    • El checkpoint cargado, que controla el modelo principal. [52]
    • El CLIP, que actúa como codificador de visión para interpretar los prompts. [53]
    • El VAE (Variational Autoencoder), que codifica la imagen a un espacio latente para el proceso de eliminación de ruido y luego la decodifica de vuelta a una imagen visible. [53]
  2. Presiona Control + Enter para iniciar la generación de la imagen, que se guardará en el directorio Comfy output. [55]
  3. La imagen generada mostrará los elementos especificados en el prompt, como la niebla. [56]

3. Generación de Imagen a Imagen (Image-to-Image) [57]

thumbnail

3.1. Carga y Codificación de Imágenes [57]

  1. Para generar a partir de una imagen existente, elimina el nodo Latent Image y reemplázalo por un nodo de carga de imagen. [58]
  2. Puedes añadir nuevos nodos haciendo clic derecho y seleccionando "Add Node", o simplemente haciendo doble clic en el lienzo y escribiendo el nombre del nodo deseado. [60]
  3. Selecciona el nodo Load Image para cargar tu imagen base. [62]
  4. Es necesario codificar la imagen cargada a un formato latente antes de que pueda ser procesada. [65]
    • Esto se logra conectando la imagen a un nodo VAE Encode, que es la operación inversa a la decodificación. [67]
  5. La conexión del nodo VAE Encode requiere la salida del VAE del nodo Checkpoint Loader. [69]

3.2. Ajuste del Denoising para Image-to-Image [72]

  1. Carga una imagen de referencia, por ejemplo, un render 3D de 3ds Max y FStorm reducido a 768 píxeles para pruebas. [72]
  2. Inicialmente, la imagen generada puede no parecerse a la original debido a que el denoising está al 100%, lo que significa que la generación se basa completamente en los prompts. [77]
  3. Para obtener una combinación entre la imagen base y los prompts, reduce el valor del denoising. [81]
    • Un valor del 50% permitirá mezclar ambos elementos. [82]
  4. Si la imagen generada carece de elementos arquitectónicos importantes, puedes reducir aún más el valor del denoising. [84]
  5. Al generar con un denoising más bajo, se obtiene una imagen más cercana a la original pero con los efectos deseados, como la niebla. [86]

4. Instalación de ControlNet en ComfyUI [88]

thumbnail

4.1. Instalación del Comfy UI Manager [88]

  1. Para instalar ControlNet y otros complementos, se recomienda usar el Comfy UI Manager. [89]
  2. Busca "Comfy UI Manager" en Google o utiliza el enlace proporcionado. [92]
  3. La instalación del Manager requiere tener Git for Windows instalado. [94]
    • Descarga e instala Git for Windows desde su sitio web oficial. [97]
  4. Navega al directorio ComfyUI/extra_nodes/custom_nodes. [100]
    • Una forma rápida de llegar a este directorio es escribir CMD en la barra de direcciones de la carpeta y presionar Enter. [102]
  5. Ejecuta el comando git clone seguido de la URL del repositorio del Comfy UI Manager. [103]
  6. Una vez clonado, cierra y reinicia ComfyUI para que el Manager sea reconocido. [107]

4.2. Instalación de Nodos de ControlNet a través del Manager [108]

  1. El Comfy UI Manager aparece como un botón adicional en la interfaz de ComfyUI y permite instalar modelos y nodos personalizados, además de verificar actualizaciones. [109]
  2. Ve a la sección "Install Custom Nodes" dentro del Manager. [110]
  3. Busca e instala los nodos necesarios para ControlNet:
    • Comfy Manager (que es un nodo personalizado en sí mismo). [111]
    • ComfyUI ControlNet (para las funcionalidades de ControlNet). [112]
    • Comfy World custom nodes. [113]
    • Advanced ControlNet (para opciones avanzadas). [113]
  4. Después de instalar los nodos, reinicia ComfyUI. [115]

4.3. Configuración de ControlNet [119]

  1. Una vez reiniciado, los nodos de ControlNet estarán disponibles. [119]
  2. Necesitarás los siguientes nodos:
    • ControlNet Loader: para cargar modelos de ControlNet. [121]
    • ControlNet Apply Advanced: para aplicar las configuraciones de ControlNet. [122]
    • List Preprocessors: para seleccionar el preprocesador adecuado. [123]
  3. Los nodos están codificados por colores para facilitar la conexión; por ejemplo, los clips y prompts se conectan a las entradas positivas y negativas del nodo de ControlNet. [129]
  4. Selecciona el tipo de ControlNet que deseas usar, como "depth" (profundidad). [133]
  5. Carga el modelo de ControlNet correspondiente (por ejemplo, un modelo de profundidad para Stable Diffusion 1.5). [134]
    • Si el modelo no está presente, el Manager puede ayudar a descargarlo automáticamente. Busca "depth" en la sección "Install Models" del Manager y descarga la versión adecuada (por ejemplo, ControlNet v1.1 para SD 1.5). [137]
  6. Conecta la salida del nodo Checkpoint Loader (que contiene el VAE) al nodo ControlNet Loader. [144]
  7. La imagen de entrada debe ser preprocesada antes de conectarla al nodo de ControlNet. [145]
    • Conecta la imagen a un nodo Image y luego a la entrada de preprocesamiento del nodo de ControlNet. [149]
  8. Puedes añadir un nodo Preview Image para visualizar el resultado del preprocesamiento. [151]
  9. Para que el efecto de ControlNet sea notable, aumenta el valor del denoising (por ejemplo, por encima de 65%). [154]
  10. Genera la imagen con Control + Enter. [156]
  11. La imagen generada mantendrá la composición de la imagen original gracias a ControlNet, a diferencia de una generación sin él. [160]
  12. Si se bypassa ControlNet con un denoising bajo (por ejemplo, 7%), la imagen resultante será completamente diferente, demostrando la efectividad de ControlNet. [163]

5. Uso de Múltiples ControlNets y Flujos de Trabajo Avanzados [166]

thumbnail

5.1. Combinación de Múltiples ControlNets [166]

  1. Para usar varios ControlNets simultáneamente, se utiliza el nodo ControlNet Stack. [167]
  2. Este nodo permite seleccionar y activar múltiples modelos de ControlNet. [168]
  3. Aún se requieren los preprocesadores correspondientes para cada ControlNet. [168]
  4. Los valores de denoising se pueden ajustar para cada ControlNet apilado. [169]
  5. La salida del ControlNet Stack se conecta a un nodo controlador, y luego a las entradas de prompts positivos y negativos. [170]

5.2. Guardar y Cargar Flujos de Trabajo [173]

  1. Es posible guardar flujos de trabajo procesados y cargarlos posteriormente, lo que reconstruirá automáticamente todos los nodos conectados. [173]
  2. ComfyUI ofrece una alternativa rápida y personalizable a Automatic1111. [179]