DalšíDalší průvodce
Memorování v difuzních modelech
Technický
Technický PRŮVODCE
Adversarial Diffusion Destillation (ADD) je tréninková metoda, která mění pomalý, mnohakrokový model difúze na studenta, který generuje obrázky v jednom až čtyřech krocích.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Kombinuje nepříznivou ztrátu z diskriminátoru s vedením z původního učitelského modelu. ADD vyráběl SDXL Turbo a latentní varianta byla použita pro rychlé modely jako SD3 Turbo a podle Black Forest Labs Flux.1 schnell. Výsledkem je generování obrazu téměř v reálném čase na běžném hardwaru, za určitou cenu v rozmanitosti a jemném ovládání.
A standard diffusion model creates an image by removing noise over many steps, commonly 20 to 50, and each step is a full pass through a large network. Distillation trains a student network to reach a similar result in far fewer steps. Stability AI introduced Adversarial Diffusion Distillation in a November 2023 paper by Axel Sauer and colleagues, released alongside SDXL Turbo. The student starts from the pretrained SDXL weights and is trained with two losses. The adversarial loss comes from a discriminator that tries to tell the student's outputs from real images. In ADD, this discriminator is built on a frozen pretrained vision backbone (DINOv2) with small trainable heads. The distillation loss uses the original SDXL as a teacher. The student's output is noised again, the teacher denoises it, and the student is pushed toward the teacher's prediction, a form of score distillation. The adversarial term keeps single-step images sharp, and the teacher term keeps them faithful to what the large model knows. A later variant, Latent Adversarial Diffusion Distillation (LADD), runs the discriminator in latent space using the teacher's own features, which avoids expensive decoding to pixels. It was used for SD3 Turbo, and Black Forest Labs has said Flux.1 schnell was trained this way. The trade-offs are real. Distilled models usually lose some sample diversity, so different seeds for the same prompt can look alike. Classifier-free guidance is typically built in, so the guidance scale and negative prompts behave differently or barely work. Fine detail, text rendering and unusual compositions may lag behind the teacher. A common misconception is that a turbo model is just the full model run with fewer steps. A normal model run at one step gives a blurry mess, and the speed comes from retraining. Other routes to fast sampling include consistency models, LCM, progressive distillation and SDXL Lightning.
Aplikace pro živé kreslení obnoví obraz pokaždé, když uživatel napíše nebo upraví skicu, pomocí SDXL Turbo v jednom kroku, takže výsledky se objeví téměř okamžitě.
Koncept prototypování herního studia generuje stovky rychlých variací s Flux.1 schnell ve čtyřech krocích a poté vylepšuje vybrané pomocí pomalejšího plného modelu.
Vývojář zjistil, že negativní výzvy a vysoké hodnoty navádění dělají na modelu Turbo málo, protože navádění bylo zabudováno během destilace. Místo toho upravují promptní znění.
Malá nezisková organizace provozuje místní nástroj pro tvorbu obrázků na GPU střední třídy a vybírá si destilovaný model, protože čtyřstupňová generace udržuje dostatečně krátké čekací doby na živé workshopy.
Generování několika málo kroků se stalo očekávanou možností pro nové modely obrázků a podobné nápady na destilaci se aplikují na video, kde na každém uloženém kroku záleží ještě více. Pokračuje výzkum na odstranění mezer v rozmanitosti a rychlé kontrole, například kombinací nepříznivých ztrát s cíli sladění distribuce. Zda se jednokrokové modely mohou plně vyrovnat jejich učitelům, je stále otevřenou otázkou a odpověď závisí na tom, jak se měří kvalita. Pro uživatele je praktickým výsledkem větší výběr: rychlé destilované modely pro koncepty, náhledy a interaktivní nástroje a pomalejší úplné modely, když na detailech a ovládání nejvíce záleží.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Adversarial Diffusion Destillation (ADD) je tréninková metoda, která mění pomalý, mnohakrokový model difúze na studenta, který generuje obrázky v jednom až čtyřech krocích. Kombinuje nepříznivou ztrátu z diskriminátoru s vedením z původního učitelského modelu. ADD vyráběl SDXL Turbo a latentní varianta byla použita pro rychlé modely jako SD3 Turbo a podle Black Forest Labs Flux.1 schnell. Výsledkem je generování obrazu téměř v reálném čase na běžném hardwaru, za určitou cenu v rozmanitosti a jemném ovládání.
ADD spojuje zápornou ztrátu diskriminátoru, která udržuje snímky ostré, se ztrátou skóre-destilace od učitele, což je udržuje věrné původnímu modelu.
Stability AI vydala SDXL Turbo s dokumentem ADD z listopadu 2023 od Sauera a kolegů.
Diskriminátor používá zmrazené předtrénované funkce DINOv2 a trénuje na nich pouze malé hlavy.
LADD přesouvá diskriminaci do latentního prostoru pomocí vlastních funkcí učitele, čímž se vyhne drahému dekódování na pixely.
Negativní výzvy fungují prostřednictvím vedení bez klasifikátoru. Destilované modely obvykle absorbují vedení během tréninku a běží bez něj, takže negativní výzvy ztrácejí účinek.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Memorování v difuzních modelech
Technický