Semillas y reproducibilidad en la generación de imágenes con IA

Los modelos de difusión parten de ruido aleatorio puro y lo perfeccionan paso a paso hasta convertirlo en una imagen. Ese ruido no es verdaderamente aleatorio. Proviene de un generador de números pseudoaleatorios, que produce la misma secuencia de números siempre que parte de la misma semilla. Para Stable Diffusion 1.5 a 512 por 512 píxeles, la semilla llena un tensor latente de 4 canales por 64 por 64 valores, y todo lo que dibuja el modelo surge de ese patrón. Las formas grandes, como el lugar donde se encuentra una figura o el lugar donde cae el horizonte, se deciden principalmente en los primeros pasos, por lo que la semilla afecta fuertemente la composición. Reproducir una imagen requiere más que la semilla. También necesita los mismos pesos del modelo, indicación, indicación negativa, resolución, muestreador, recuento de pasos y escala de guía, además de extras como entradas LoRA o ControlNet. Cambiar la resolución cambia la forma del tensor de ruido, por lo que la misma semilla proporciona una imagen no relacionada. Muchas herramientas le dan a cada imagen de un lote el siguiente número de semilla, por lo que la cuarta imagen de un lote suele ser la semilla inicial más tres. La reproducción exacta todavía puede fallar. Los generadores aleatorios de CPU y GPU en bibliotecas como PyTorch producen diferentes secuencias a partir de la misma semilla. Algunas operaciones de GPU no son deterministas, las matemáticas de media precisión se redondean de manera diferente en diferentes hardware, y el código de atención para ahorrar memoria puede cambiar valores pequeños que crecen a lo largo de muchos pasos. Los samplers ancestrales añaden ruido fresco en cada paso, lo que crea más posibilidades de que los resultados se desvíen. Un modelo diferente, o una nueva versión del mismo modelo, convierte un ruido idéntico en una imagen completamente diferente. No existen "buenas semillas" universalmente. Una semilla que funciona bien para un mensaje y un modelo no tiene ninguna cualidad especial en ningún otro lugar. Las funciones de variación, que se combinan en una segunda "semilla de variación", le permiten explorar imágenes cercanas manteniendo el diseño general.