Technický PRŮVODCE

Adversarial Difuzní destilace a Turbo modely

Adversarial Diffusion Destillation (ADD) je tréninková metoda, která mění pomalý, mnohakrokový model difúze na studenta, který generuje obrázky v jednom až čtyřech krocích.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost protichůdné difúzní destilace a turbo modelů
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Kombinuje nepříznivou ztrátu z diskriminátoru s vedením z původního učitelského modelu. ADD vyráběl SDXL Turbo a latentní varianta byla použita pro rychlé modely jako SD3 Turbo a podle Black Forest Labs Flux.1 schnell. Výsledkem je generování obrazu téměř v reálném čase na běžném hardwaru, za určitou cenu v rozmanitosti a jemném ovládání.

Hluboký ponor

A standard diffusion model creates an image by removing noise over many steps, commonly 20 to 50, and each step is a full pass through a large network. Distillation trains a student network to reach a similar result in far fewer steps. Stability AI introduced Adversarial Diffusion Distillation in a November 2023 paper by Axel Sauer and colleagues, released alongside SDXL Turbo. The student starts from the pretrained SDXL weights and is trained with two losses. The adversarial loss comes from a discriminator that tries to tell the student's outputs from real images. In ADD, this discriminator is built on a frozen pretrained vision backbone (DINOv2) with small trainable heads. The distillation loss uses the original SDXL as a teacher. The student's output is noised again, the teacher denoises it, and the student is pushed toward the teacher's prediction, a form of score distillation. The adversarial term keeps single-step images sharp, and the teacher term keeps them faithful to what the large model knows. A later variant, Latent Adversarial Diffusion Distillation (LADD), runs the discriminator in latent space using the teacher's own features, which avoids expensive decoding to pixels. It was used for SD3 Turbo, and Black Forest Labs has said Flux.1 schnell was trained this way. The trade-offs are real. Distilled models usually lose some sample diversity, so different seeds for the same prompt can look alike. Classifier-free guidance is typically built in, so the guidance scale and negative prompts behave differently or barely work. Fine detail, text rendering and unusual compositions may lag behind the teacher. A common misconception is that a turbo model is just the full model run with fewer steps. A normal model run at one step gives a blurry mess, and the speed comes from retraining. Other routes to fast sampling include consistency models, LCM, progressive distillation and SDXL Lightning.

Real-World Implementace

Aplikace pro živé kreslení obnoví obraz pokaždé, když uživatel napíše nebo upraví skicu, pomocí SDXL Turbo v jednom kroku, takže výsledky se objeví téměř okamžitě.

Koncept prototypování herního studia generuje stovky rychlých variací s Flux.1 schnell ve čtyřech krocích a poté vylepšuje vybrané pomocí pomalejšího plného modelu.

Vývojář zjistil, že negativní výzvy a vysoké hodnoty navádění dělají na modelu Turbo málo, protože navádění bylo zabudováno během destilace. Místo toho upravují promptní znění.

Malá nezisková organizace provozuje místní nástroj pro tvorbu obrázků na GPU střední třídy a vybírá si destilovaný model, protože čtyřstupňová generace udržuje dostatečně krátké čekací doby na živé workshopy.

Budoucnost protichůdné difúzní destilace a turbo modelů

Generování několika málo kroků se stalo očekávanou možností pro nové modely obrázků a podobné nápady na destilaci se aplikují na video, kde na každém uloženém kroku záleží ještě více. Pokračuje výzkum na odstranění mezer v rozmanitosti a rychlé kontrole, například kombinací nepříznivých ztrát s cíli sladění distribuce. Zda se jednokrokové modely mohou plně vyrovnat jejich učitelům, je stále otevřenou otázkou a odpověď závisí na tom, jak se měří kvalita. Pro uživatele je praktickým výsledkem větší výběr: rychlé destilované modely pro koncepty, náhledy a interaktivní nástroje a pomalejší úplné modely, když na detailech a ovládání nejvíce záleží.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Udělejte si kvíz Adversarial Diffusion Destilation a Turbo Models

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je to odporová difúzní destilace a turbo modely?

Adversarial Diffusion Destillation (ADD) je tréninková metoda, která mění pomalý, mnohakrokový model difúze na studenta, který generuje obrázky v jednom až čtyřech krocích. Kombinuje nepříznivou ztrátu z diskriminátoru s vedením z původního učitelského modelu. ADD vyráběl SDXL Turbo a latentní varianta byla použita pro rychlé modely jako SD3 Turbo a podle Black Forest Labs Flux.1 schnell. Výsledkem je generování obrazu téměř v reálném čase na běžném hardwaru, za určitou cenu v rozmanitosti a jemném ovládání.

Které dvě ztráty spojuje ADD?

ADD spojuje zápornou ztrátu diskriminátoru, která udržuje snímky ostré, se ztrátou skóre-destilace od učitele, což je udržuje věrné původnímu modelu.

Který model byl vydán vedle papíru ADD?

Stability AI vydala SDXL Turbo s dokumentem ADD z listopadu 2023 od Sauera a kolegů.

Jakou páteř používá diskriminátor ADD?

Diskriminátor používá zmrazené předtrénované funkce DINOv2 a trénuje na nich pouze malé hlavy.

Jak se LADD liší od ADD?

LADD přesouvá diskriminaci do latentního prostoru pomocí vlastních funkcí učitele, čímž se vyhne drahému dekódování na pixely.

Proč mají negativní výzvy často malý vliv na modely s turbodmychadlem?

Negativní výzvy fungují prostřednictvím vedení bez klasifikátoru. Destilované modely obvykle absorbují vedení během tréninku a běží bez něj, takže negativní výzvy ztrácejí účinek.