Modelos de difusión latente
Los modelos de difusión latente generan imágenes ejecutando el proceso de difusión en un espacio latente comprimido en lugar de píxeles sin procesar, lo que reduce drásticamente los costos de computación.
Descripción general
They are the engine behind Stable Diffusion and most modern open-source image generators.
Buceo profundo
Un modelo de difusión estándar aprende a revertir un proceso de generación de ruido: comienza a partir de ruido puro y gradualmente elimina el ruido hasta convertirse en una imagen. Hacer esto directamente en píxeles es costoso porque una imagen de 512x512 tiene cientos de miles de valores. La difusión latente, introducida por Rombach y sus colegas en 2022, utiliza por primera vez un codificador automático variacional (VAE) previamente entrenado para comprimir una imagen en una pequeña cuadrícula latente (a menudo de 64x64x4, aproximadamente 48 veces más pequeña). La U-Net de difusión aprende entonces a eliminar el ruido dentro de ese espacio compacto latente, guiada por el texto a través de la atención cruzada. Finalmente, el decodificador VAE reconstruye píxeles de resolución completa. Esta compresión perceptiva mantiene la información semánticamente significativa y al mismo tiempo descarta detalles imperceptibles, lo que hace factible la generación de alta calidad en las GPU de consumo.
Información técnica
El truco clave es separar la compresión perceptiva del modelado generativo. El VAE maneja el detalle de los píxeles de alta frecuencia una vez y el U-Net solo modela la distribución latente de dimensiones inferiores. El condicionamiento del texto se inyecta a través de capas de atención cruzada, donde las características espaciales de U-Net atienden a las incrustaciones de tokens de un codificador de texto como CLIP. Debido a que las señales latentes son aproximadamente 48 veces más pequeñas que los píxeles, cada paso de eliminación de ruido es dramáticamente más económico tanto en la memoria como en los FLOP.
Impacto Estratégico
Speed and scale
La IA visual puede automatizar tareas de inspección, detección y etiquetado a escala.
Construir opciones
Los equipos creativos pueden crear prototipos de conceptos más rápido y con menos revisiones manuales.
Equipo y flujo de trabajo
Las operaciones pueden utilizar señales de imagen y vídeo que antes eran difíciles de procesar.
El futuro de los modelos de difusión latente
La difusión latente se está expandiendo más allá de las imágenes hacia video (difusión de video estable), recursos 3D y espectrogramas de audio, todos usando la misma receta de comprimir y luego eliminar ruido. La investigación está avanzando hacia menos pasos de muestreo a través de modelos de destilación y consistencia, mejores VAE que preservan el texto y las caras finas, y formulaciones de flujo rectificado como las de Stable Diffusion 3 que enderezan la trayectoria de generación para obtener resultados más rápidos y nítidos.
Implementación en el mundo real
Stable Diffusion genera obras de arte y diseños conceptuales a partir de indicaciones de texto en una única GPU de consumo
Adobe y Canva potencian las funciones de conversión de texto a imagen y de relleno generativo basadas en la columna vertebral de difusión latente
Estudios de juegos que producen mapas de texturas, sprites y arte conceptual ambiental para acelerar la preproducción.
Equipos de marketing y de imágenes de archivo que crean maquetas de productos de marca y elementos visuales publicitarios sin una sesión de fotos.
Riesgos y barandillas
Los derechos de imagen y el consentimiento pueden convertirse en riesgos legales si la procedencia no está clara.
El rendimiento del modelo puede variar según la iluminación, la demografía y los entornos.
Los falsos positivos pueden pasar desapercibidos a menos que se controlen los umbrales de confianza.
Hoja de ruta de implementación
Defina criterios de aceptación para costos de precisión, recuperación y error.
Pruebe con datos que coincidan con las condiciones reales de producción.
Agregue revisión humana para predicciones de baja confianza o de alto impacto.
Realice un seguimiento de la deriva del modelo y vuelva a validarlo después de cambios en la cámara o el conjunto de datos.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Latent Diffusion Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Modelos de difusión de vídeo
Preguntas frecuentes
What is Latent Diffusion Models?
Los modelos de difusión latente generan imágenes ejecutando el proceso de difusión en un espacio latente comprimido en lugar de píxeles sin procesar, lo que reduce drásticamente los costos de computación. Son el motor detrás de Stable Diffusion y la mayoría de los generadores de imágenes de código abierto modernos.
¿Cuál es la principal innovación de los modelos de difusión latente en comparación con la difusión en el espacio de píxeles?
La difusión latente comprime las imágenes en un espacio latente más pequeño utilizando un VAE, por lo que la costosa eliminación de ruido se produce en muchos menos valores que en píxeles completos.
¿Qué componente comprime una imagen en el espacio latente y luego la reconstruye?
Un VAE previamente entrenado codifica la imagen en una cuadrícula latente compacta y su decodificador reconstruye los píxeles de resolución completa al final.
¿Cómo se inyecta normalmente el texto en la U-Net que elimina el ruido en difusión latente?
Las incrustaciones de tokens de un codificador de texto se introducen en capas de atención cruzada, lo que permite que las características espaciales atiendan el mensaje.
¿Por qué operar en espacio latente reduce el costo computacional?
Espere: la razón correcta es que la cuadrícula latente es mucho más pequeña (a menudo ~48x) que la imagen de píxeles, por lo que cada paso de eliminación de ruido necesita muchos menos FLOP y memoria.
¿Qué modelo de código abierto ampliamente utilizado popularizó la difusión latente?
Stable Diffusion, lanzado en 2022, trajo una difusión latente al hardware de consumo y una adopción masiva.