ComfyUI y flujos de trabajo de imágenes basados ​​en nodos

ComfyUI apareció a principios de 2023, creado por un desarrollador conocido comocomfortanonymous. Se ha convertido en una de las interfaces más utilizadas para modelos generativos abiertos, admitiendo variantes Stable Diffusion, Flux y muchos modelos de vídeo y audio. En lugar de un formulario con controles deslizantes, verá la canalización en sí. Un gráfico mínimo de texto a imagen muestra cada parte de un modelo de difusión latente. Load Checkpoint genera tres cosas: el modelo de eliminación de ruido, el codificador de texto CLIP y el VAE. Dos nodos CLIP Text Encode convierten las indicaciones positivas y negativas en condicionamiento. Imagen latente vacía crea el lienzo de ruido inicial en un tamaño elegido. KSampler ejecuta el bucle de eliminación de ruido utilizando la semilla, el recuento de pasos, la escala de guía (CFG), el muestreador y el programador. VAE Decode convierte la imagen latente final en píxeles y Save Image escribe el archivo. Ver estos pasos por separado aclara otras ideas. Imagen a imagen, por ejemplo, consiste simplemente en partir de una imagen codificada y eliminar el ruido sólo parcialmente. Los gráficos se guardan como JSON y se incrustan en las imágenes que producen, para que se puedan reproducir los resultados. ComfyUI también almacena en caché los resultados y vuelve a ejecutar solo los nodos cuyas entradas cambiaron, por lo que editar un mensaje no recarga el modelo. El hardware es la principal limitación. Las GPU NVIDIA tienen el mejor soporte. Alrededor de 8 GB de VRAM es un mínimo cómodo comúnmente citado para el trabajo de clase SDXL, y los modelos de imagen o video más grandes se benefician de 12 a 24 GB o más, aunque los modelos cuantificados y la descarga de memoria ayudan. AMD, Intel y Apple Silicon pueden funcionar con una configuración adicional y una velocidad más baja, y el uso exclusivo de la CPU es muy lento. Los nodos personalizados amplían enormemente ComfyUI, pero cada uno es un código Python que se ejecuta con los permisos de su cuenta de usuario. Se han reportado casos de paquetes de nodos maliciosos que roban datos. Instale solo nodos conocidos y mantenidos activamente, prefiera archivos de modelo .safetensors a archivos .ckpt basados ​​en pickle y considere ejecutar ComfyUI en un entorno o contenedor separado.