Il prossimoProssima guida
Memorizzazione nei modelli di diffusione
Tecnico
GUIDA TECNICA
La distillazione di diffusione avversaria (ADD) è un metodo di addestramento che trasforma un modello di diffusione lento e a molti passaggi in uno studente che genera immagini in uno a quattro passaggi.
Ascolta questa guidaNarrato dall'IA · ~3 min
Combina una perdita avversaria da un discriminatore con la guida del modello insegnante originale. ADD ha prodotto SDXL Turbo, e una variante latente è stata usata per modelli veloci come SD3 Turbo e, secondo Black Forest Labs, Flux.1 schnell. Il risultato è la generazione di immagini quasi in tempo reale su hardware ordinario, a un certo costo in diversità e controllo fine.
A standard diffusion model creates an image by removing noise over many steps, commonly 20 to 50, and each step is a full pass through a large network. Distillation trains a student network to reach a similar result in far fewer steps. Stability AI introduced Adversarial Diffusion Distillation in a November 2023 paper by Axel Sauer and colleagues, released alongside SDXL Turbo. The student starts from the pretrained SDXL weights and is trained with two losses. The adversarial loss comes from a discriminator that tries to tell the student's outputs from real images. In ADD, this discriminator is built on a frozen pretrained vision backbone (DINOv2) with small trainable heads. The distillation loss uses the original SDXL as a teacher. The student's output is noised again, the teacher denoises it, and the student is pushed toward the teacher's prediction, a form of score distillation. The adversarial term keeps single-step images sharp, and the teacher term keeps them faithful to what the large model knows. A later variant, Latent Adversarial Diffusion Distillation (LADD), runs the discriminator in latent space using the teacher's own features, which avoids expensive decoding to pixels. It was used for SD3 Turbo, and Black Forest Labs has said Flux.1 schnell was trained this way. The trade-offs are real. Distilled models usually lose some sample diversity, so different seeds for the same prompt can look alike. Classifier-free guidance is typically built in, so the guidance scale and negative prompts behave differently or barely work. Fine detail, text rendering and unusual compositions may lag behind the teacher. A common misconception is that a turbo model is just the full model run with fewer steps. A normal model run at one step gives a blurry mess, and the speed comes from retraining. Other routes to fast sampling include consistency models, LCM, progressive distillation and SDXL Lightning.
Un'app di disegno in tempo reale rigenera l'immagine ogni volta che l'utente digita o modifica uno schizzo, utilizzando SDXL Turbo in un solo passaggio così i risultati appaiono quasi all'istante.
Un studio di gioco che prototipa concept art genera centinaia di variazioni rapide con Flux.1 schnell a quattro passaggi, poi perfeziona le scelte con un modello completo più lento.
Un sviluppatore scopre che i prompt negativi e i valori di guida elevati fanno poco su un modello Turbo, perché la guida è stata incorporata durante la distillazione. Modifica invece la formulazione del prompt.
Una piccola organizzazione no‑profit gestisce uno strumento locale di immagini su una GPU di fascia media e sceglie un modello distillato perché la generazione in quattro passi mantiene i tempi di attesa sufficientemente brevi per i workshop dal vivo.
La generazione in pochi passaggi è diventata un'opzione attesa per i nuovi modelli di immagini, e idee simili di distillazione vengono applicate al video, dove ogni passaggio salvato conta ancora di più. La ricerca continua a chiudere le lacune in termini di diversità e controllo del prompt, ad esempio combinando perdite avversarie con obiettivi di corrispondenza della distribuzione. Se i modelli a un passaggio possono davvero eguagliare i loro insegnanti è ancora una questione aperta, e la risposta dipende da come si misura la qualità. Per gli utenti, il risultato pratico è più scelta: modelli distillati veloci per bozze, anteprime e strumenti interattivi, e modelli completi più lenti quando il dettaglio e il controllo sono più importanti.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Adversarial Diffusion Distillation (ADD) è un metodo di addestramento che trasforma un modello di diffusione lento e a molti passaggi in uno studente che genera immagini in uno a quattro passaggi. Combina una perdita avversaria da un discriminatore con la guida del modello insegnante originale. ADD ha prodotto SDXL Turbo, e una variante latente è stata usata per modelli veloci come SD3 Turbo e, secondo Black Forest Labs, Flux.1 schnell. Il risultato è la generazione di immagini quasi in tempo reale su hardware ordinario, a un certo costo in diversità e controllo fine.
ADD accoppia la perdita avversaria di un discriminatore, che mantiene le immagini nitide, con una perdita di score-distillation dall'insegnante, che le mantiene fedeli al modello originale.
Stability AI ha rilasciato SDXL Turbo con il paper ADD di novembre 2023 di Sauer e colleghi.
Il discriminatore utilizza caratteristiche DINOv2 preaddestrate congelate e addestra solo piccole teste sopra di esse.
LADD sposta la discriminazione nello spazio latente usando le proprie caratteristiche dell'insegnante, evitando la costosa decodifica in pixel.
I prompt negativi agiscono tramite la guida classifier‑free. I modelli distillati di solito assorbono la guida durante l'addestramento e funzionano senza di essa, quindi i prompt negativi perdono il loro effetto.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Memorizzazione nei modelli di diffusione
Tecnico