Technische GIDS

Tegenstrijdige diffusiedestillatie en turbomodellen

Adversarial Diffusion Distillation (ADD) is een trainingsmethode die een langzaam, uit meerdere stappen bestaand diffusiemodel omzet in een student die in één tot vier stappen beelden genereert.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van vijandige diffusiedestillatie en turbomodellen
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Het combineert een vijandig verlies van een discriminator met begeleiding van het oorspronkelijke lerarenmodel. ADD produceerde SDXL Turbo, en een latente variant werd gebruikt voor snelle modellen zoals SD3 Turbo en, volgens Black Forest Labs, Flux.1 schnell. Het resultaat is een vrijwel real-time beeldgeneratie op gewone hardware, tegen een prijs in diversiteit en fijne controle.

Diepe duik

Een standaard diffusiemodel creëert een beeld door ruis over vele stappen te verwijderen, gewoonlijk 20 tot 50, en elke stap is een volledige doorgang door een groot netwerk. Distillatie traint een studentennetwerk om in veel minder stappen een vergelijkbaar resultaat te bereiken. Stability AI introduceerde Adversarial Diffusion Distillation in een artikel uit november 2023 van Axel Sauer en collega's, uitgebracht naast SDXL Turbo. De cursist vertrekt van de voorgetrainde SDXL-gewichten en wordt getraind met twee verliezen. Het vijandige verlies komt van een discriminator die de resultaten van de student probeert te onderscheiden van echte beelden. Bij ADD is deze discriminator gebouwd op een bevroren, voorgetrainde visie-ruggengraat (DINOv2) met kleine trainbare hoofden. Het destillatieverlies gebruikt de originele SDXL als leraar. De output van de leerling wordt opnieuw hoorbaar gemaakt, de leraar ontkent het en de leerling wordt in de richting van de voorspelling van de leraar geduwd, een vorm van partituurdistillatie. De term vijandig houdt de beelden in één stap scherp, en de term leraar houdt ze trouw aan wat het grote model weet. Een latere variant, Latent Adversarial Diffusion Distillation (LADD), voert de discriminator uit in de latente ruimte met behulp van de eigen functies van de leraar, waardoor dure decodering naar pixels wordt vermeden. Het werd gebruikt voor SD3 Turbo, en Black Forest Labs heeft gezegd dat Flux.1 Schnell op deze manier is getraind. De afwegingen zijn reëel. Gedistilleerde modellen verliezen meestal wat diversiteit aan monsters, zodat verschillende zaden voor dezelfde opdracht op elkaar kunnen lijken. Begeleiding zonder classificatie is doorgaans ingebouwd, waardoor de begeleidingsschaal en negatieve aanwijzingen zich anders gedragen of nauwelijks werken. Fijne details, tekstweergave en ongebruikelijke composities kunnen achterblijven bij de docent. Een veel voorkomende misvatting is dat een turbomodel slechts het volledige model is, met minder stappen. Een normaal model dat in één stap wordt uitgevoerd, geeft een wazige puinhoop, en de snelheid komt voort uit omscholing. Andere routes naar snelle bemonstering zijn consistentiemodellen, LCM, progressieve destillatie en SDXL Lightning.

Implementatie in de echte wereld

Een live teken-app regenereert de afbeelding elke keer dat de gebruiker een schets typt of bewerkt, waarbij SDXL Turbo in één stap wordt gebruikt, zodat de resultaten vrijwel onmiddellijk verschijnen.

Een concept art voor een gamestudio die prototypes maakt, genereert honderden snelle variaties met Flux.1 schnell in vier stappen, en verfijnt vervolgens de gekozen variaties met een langzamer volledig model.

Een ontwikkelaar constateert dat negatieve prompts en hoge richtwaarden weinig doen bij een Turbo-model, omdat er tijdens de destillatie begeleiding is ingebouwd. In plaats daarvan passen ze de prompttekst aan.

Een kleine non-profitorganisatie draait een lokale beeldtool op een GPU uit het middensegment en kiest voor een gedistilleerd model omdat generatie in vier stappen de wachttijden kort genoeg houdt voor live workshops.

De toekomst van vijandige diffusiedestillatie en turbomodellen

Generatie in weinig stappen is een verwachte optie geworden voor nieuwe beeldmodellen, en soortgelijke destillatie-ideeën worden toegepast op video, waarbij elke opgeslagen stap er nog belangrijker uit komt. Er wordt nog steeds onderzoek gedaan naar het dichten van de gaten in diversiteit en snelle controle, bijvoorbeeld door verliezen van tegenstanders te combineren met doelstellingen voor het matchen van de verdeling. Of éénstapsmodellen hun leraren volledig kunnen evenaren, is nog steeds een open vraag, en het antwoord hangt af van hoe kwaliteit wordt gemeten. Voor gebruikers is het praktische resultaat meer keuze: snelle gedistilleerde modellen voor concepten, previews en interactieve tools, en langzamere volledige modellen wanneer details en controle het belangrijkst zijn.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Adversarial Diffusion Distillation and Turbo Models quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat zijn vijandige diffusiedestillatie- en turbomodellen?

Adversarial Diffusion Distillation (ADD) is een trainingsmethode die een langzaam, uit meerdere stappen bestaand diffusiemodel omzet in een student die in één tot vier stappen beelden genereert. Het combineert een vijandig verlies van een discriminator met begeleiding van het oorspronkelijke lerarenmodel. ADD produceerde SDXL Turbo, en een latente variant werd gebruikt voor snelle modellen zoals SD3 Turbo en, volgens Black Forest Labs, Flux.1 schnell. Het resultaat is een vrijwel real-time beeldgeneratie op gewone hardware, tegen een prijs in diversiteit en fijne controle.

Welke twee verliezen combineert ADD?

ADD combineert het vijandige verlies van een discriminator, waardoor de beelden scherp blijven, met een partituurdistillatieverlies van de leraar, waardoor ze trouw blijven aan het oorspronkelijke model.

Welk model is naast het ADD-papier uitgebracht?

Stability AI heeft SDXL Turbo uitgebracht met het ADD-paper van november 2023 van Sauer en collega's.

Welke ruggengraat gebruikt de discriminator van ADD?

De discriminator maakt gebruik van bevroren, voorgetrainde DINOv2-functies en traint er alleen kleine hoofden bovenop.

Waarin verschilt LADD van ADD?

LADD verplaatst discriminatie naar de latente ruimte met behulp van de eigen functies van de leraar, waardoor dure decodering naar pixels wordt vermeden.

Waarom hebben negatieve aanwijzingen vaak weinig effect op turbomodellen?

Negatieve aanwijzingen werken via classificatievrije begeleiding. Gedestilleerde modellen absorberen meestal begeleiding tijdens de training en rennen zonder, waardoor negatieve aanwijzingen hun effect verliezen.