A continuaciónSiguiente guía
Memorización en modelos de difusión
Técnico
GUÍA Técnica
Modelos turbo y destilación por difusión adversaria
La destilación por difusión adversaria (ADD) es un método de entrenamiento que convierte un modelo de difusión lento de muchos pasos en un estudiante que genera imágenes en uno a cuatro pasos.
Escuche esta guíaNarrado por IA · ~3 min
En esta pagina4 minutos de lectura
Descripción general
Combina una pérdida adversa por parte de un discriminador con la guía del modelo original del maestro. ADD produjo SDXL Turbo y se utilizó una variante latente para modelos rápidos como SD3 Turbo y, según Black Forest Labs, Flux.1 schnell. El resultado es la generación de imágenes casi en tiempo real en hardware ordinario, con cierto costo en diversidad y control preciso.
Buceo profundo
Un modelo de difusión estándar crea una imagen eliminando el ruido en muchos pasos, normalmente de 20 a 50, y cada paso es un paso completo a través de una red grande. Distillation capacita a una red de estudiantes para alcanzar un resultado similar en muchos menos pasos. Stability AI presentó la destilación por difusión adversaria en un artículo de noviembre de 2023 de Axel Sauer y sus colegas, publicado junto con SDXL Turbo. El estudiante parte de las pesas SDXL previamente entrenadas y se entrena con dos pérdidas. La pérdida adversaria proviene de un discriminador que intenta distinguir los resultados del estudiante de imágenes reales. En ADD, este discriminador se basa en una columna vertebral de visión congelada previamente entrenada (DINOv2) con pequeñas cabezas entrenables. La pérdida por destilación utiliza el SDXL original como maestro. La producción del estudiante vuelve a ser cuestionada, el profesor la elimina y el estudiante es empujado hacia la predicción del profesor, una forma de destilación de la puntuación. El término adversario mantiene nítidas las imágenes de un solo paso, y el término maestro las mantiene fieles a lo que sabe el modelo grande. Una variante posterior, la destilación por difusión adversa latente (LADD), ejecuta el discriminador en el espacio latente utilizando las características propias del profesor, lo que evita una costosa decodificación en píxeles. Se usó para SD3 Turbo y Black Forest Labs dijo que Flux.1 Schnell fue entrenado de esta manera. Las compensaciones son reales. Los modelos destilados generalmente pierden algo de diversidad de muestras, por lo que diferentes semillas para el mismo mensaje pueden parecer similares. La orientación sin clasificador suele estar integrada, por lo que la escala de orientación y las indicaciones negativas se comportan de manera diferente o apenas funcionan. Los detalles finos, la interpretación del texto y las composiciones inusuales pueden quedarse atrás del maestro. Un error común es pensar que un modelo turbo es simplemente el modelo completo ejecutado con menos pasos. Un modelo normal ejecutado en un solo paso genera un desorden borroso y la velocidad proviene del reentrenamiento. Otras rutas para lograr un muestreo rápido incluyen modelos de consistencia, LCM, destilación progresiva y SDXL Lightning.
Implementación en el mundo real
Una aplicación de dibujo en vivo regenera la imagen cada vez que el usuario escribe o edita un boceto, usando SDXL Turbo en un solo paso para que los resultados aparezcan casi instantáneamente.
El arte conceptual de un prototipo de estudio de juegos genera cientos de variaciones rápidas con Flux.1 schnell en cuatro pasos, luego refina las elegidas con un modelo completo más lento.
Un desarrollador descubre que las indicaciones negativas y los valores de orientación altos tienen poco efecto en un modelo Turbo, porque la orientación se incorporó durante la destilación. En su lugar, ajustan la redacción del mensaje.
Una pequeña organización sin fines de lucro ejecuta una herramienta de imágenes local en una GPU de rango medio y elige un modelo destilado porque la generación de cuatro pasos mantiene las esperas lo suficientemente cortas para los talleres en vivo.
El futuro de la destilación por difusión adversaria y los modelos turbo
La generación de pocos pasos se ha convertido en una opción esperada para nuevos modelos de imágenes, y se están aplicando ideas similares al vídeo, donde cada paso guardado importa aún más. Continúan las investigaciones para cerrar las brechas en diversidad y control rápido, por ejemplo combinando pérdidas adversas con objetivos de igualación de distribución. Aún es una cuestión abierta si los modelos de un solo paso pueden adaptarse plenamente a sus profesores, y la respuesta depende de cómo se mide la calidad. Para los usuarios, el resultado práctico es más opciones: modelos resumidos rápidos para borradores, vistas previas y herramientas interactivas, y modelos completos más lentos cuando el detalle y el control son más importantes.
Poniéndolo en práctica
Por qué es importante
- Costo y presupuesto. Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
- Decisiones más claras. La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
- control de calidad. Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
cuidado con
- La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
- Los costos de infraestructura y mantenimiento a menudo se subestiman.
- Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Próximos pasos
- Defina objetivos de latencia, calidad y costos antes de la implementación.
- Comparación en condiciones realistas de carga y datos.
- Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
- Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Adversarial Diffusion Distillation and Turbo Models quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es la destilación por difusión adversaria y los modelos turbo?
La destilación por difusión adversaria (ADD) es un método de entrenamiento que convierte un modelo de difusión lento de muchos pasos en un estudiante que genera imágenes en uno a cuatro pasos. Combina una pérdida adversa por parte de un discriminador con la guía del modelo original del maestro. ADD produjo SDXL Turbo y se utilizó una variante latente para modelos rápidos como SD3 Turbo y, según Black Forest Labs, Flux.1 schnell. El resultado es la generación de imágenes casi en tiempo real en hardware ordinario, con cierto costo en diversidad y control preciso.
¿Qué dos pérdidas combina ADD?
ADD combina la pérdida adversaria del discriminador, que mantiene las imágenes nítidas, con una pérdida por destilación de puntuación del profesor, que las mantiene fieles al modelo original.
¿Qué modelo se lanzó junto con el documento ADD?
Stability AI lanzó SDXL Turbo con el artículo ADD de noviembre de 2023 de Sauer y sus colegas.
¿Qué columna vertebral utiliza el discriminador de ADD?
El discriminador utiliza funciones DINOv2 previamente entrenadas congeladas y entrena solo cabezas pequeñas encima de ellas.
¿En qué se diferencia LADD de ADD?
LADD traslada la discriminación al espacio latente utilizando las funciones propias del profesor, lo que evita una costosa decodificación en píxeles.
¿Por qué las indicaciones negativas suelen tener poco efecto en los modelos turbo?
Las indicaciones negativas actúan a través de una guía sin clasificador. Los modelos destilados normalmente absorben la guía durante el entrenamiento y funcionan sin ella, por lo que las indicaciones negativas pierden su efecto.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.