Műszaki ÚTMUTATÓ

Ellenálló diffúziós desztillációs és turbó modellek

Az Adversarial Diffusion Distillation (ADD) egy olyan képzési módszer, amely egy lassú, többlépéses diffúziós modellt olyan tanulóvá alakít, amely egy-négy lépésben készít képeket.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az ellenséges diffúziós desztilláció és a turbó modellek jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Egyesíti a diszkriminátor ellentétes veszteségét az eredeti tanári modell útmutatásaival. Az ADD gyártotta az SDXL Turbót, és egy látens változatot használtak olyan gyors modellekhez, mint az SD3 Turbo és a Black Forest Labs szerint a Flux.1 schnell. Az eredmény egy közel valós idejű képgenerálás közönséges hardveren, némi költséggel a sokféleség és a finom vezérlés terén.

Mély merülés

A szabványos diffúziós modell úgy hoz létre képet, hogy sok, általában 20-50 lépésben eltávolítja a zajt, és minden lépés egy nagy hálózaton való teljes áthaladás. A desztilláció arra tanítja a hallgatói hálózatot, hogy sokkal kevesebb lépésben érjen el hasonló eredményt. A Stability AI Axel Sauer és munkatársai 2023 novemberében az SDXL Turbo mellett megjelent közleményében bemutatta az ellentmondásos diffúziós desztillációt. A tanuló az előképzett SDXL súlyokból indul ki, és két veszteséggel edzett. A kontradiktórius veszteség egy diszkriminátorból származik, amely megpróbálja megkülönböztetni a tanuló eredményeit a valós képektől. Az ADD-ben ez a diszkriminátor egy fagyott előképzett látás gerincre (DINOv2) épül kis, betanítható fejekkel. A desztillációs veszteség az eredeti SDXL-t használja tanárként. A tanuló kimenete ismét zajos lesz, a tanár elhallgatja, és a tanuló a tanári jóslat felé tolódik, a pontszámdesztilláció egy formája felé. A kontradiktórius kifejezés élesen tartja az egylépéses képeket, a tanári kifejezés pedig hűen tartja azokat ahhoz, amit a nagy modell tud. Egy későbbi változat, a Latent Adversarial Diffusion Distillation (LADD) a diszkriminátort a látens térben a tanár saját funkcióinak felhasználásával futtatja, ami elkerüli a költséges képpontokba való dekódolást. SD3 Turbohoz használták, és a Black Forest Labs szerint a Flux.1 schnell így lett kiképezve. A kompromisszumok valósak. A desztillált modellek általában elveszítik a minta sokféleségét, így ugyanahhoz a prompthoz különböző magvak hasonlíthatnak. Az osztályozó nélküli útmutatás jellemzően be van építve, így a vezetési skála és a negatív promptok eltérően viselkednek, vagy alig működnek. A finom részletek, a szövegmegjelenítés és a szokatlan kompozíciók elmaradhatnak a tanártól. Általános tévhit, hogy a turbómodell csak a teljes, kevesebb lépéssel futtatott modell. Egy normál, egy lépésben futtatott modell elmosódott rendetlenséget okoz, a sebesség pedig az átképzésből adódik. A gyors mintavétel további módjai közé tartoznak a konzisztenciamodellek, az LCM, a progresszív desztilláció és az SDXL Lightning.

Valós megvalósítás

Egy élő rajzalkalmazás újragenerálja a képet minden alkalommal, amikor a felhasználó beír vagy szerkeszt egy vázlatot, egyetlen lépésben az SDXL Turbo használatával, így az eredmények szinte azonnal megjelennek.

A játékstúdió prototípus-koncepciója több száz gyors variációt generál a Flux.1 schnell segítségével négy lépésben, majd egy lassabb teljes modellel finomítja a kiválasztottakat.

Egy fejlesztő úgy találja, hogy a negatív promptok és a magas vezetési értékek keveset tesznek a Turbo modellen, mivel az útmutatást beépítették a desztilláció során. Helyette módosítják a gyors szövegezést.

Egy kis nonprofit szervezet helyi képalkotó eszközt futtat egy középkategóriás GPU-n, és desztillált modellt választ, mivel a négylépéses generálás elég rövid ideig tartja a várakozást az élő workshopokhoz.

Az ellenséges diffúziós desztilláció és a turbó modellek jövője

A néhány lépéses generálás elvárt opció lett az új képmodellek esetében, és hasonló desztillációs ötleteket alkalmaznak a videóban is, ahol minden elmentett lépés még többet számít. Folytatódik a kutatás a diverzitás és az azonnali ellenőrzés terén fennálló hiányosságok bezárására, például a kontradiktórius veszteségek és az elosztás-egyeztetési célok kombinálásával. Az, hogy az egylépéses modellek teljesen megfelelnek-e tanáraiknak, még nyitott kérdés, és a válasz attól függ, hogyan mérik a minőséget. A felhasználók számára a gyakorlati eredmény több választási lehetőség: gyorsan lepárolható modellek piszkozatokhoz, előnézetekhez és interaktív eszközökhöz, és lassabb teljes modellek, amikor a részletek és a vezérlés a legfontosabb.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Adversarial Diffusion Distillation and Turbo Models quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az az ellentmondásos diffúziós desztilláció és a turbómodellek?

Az Adversarial Diffusion Distillation (ADD) egy olyan képzési módszer, amely egy lassú, többlépéses diffúziós modellt olyan tanulóvá alakít, amely egy-négy lépésben készít képeket. Egyesíti a diszkriminátor ellentétes veszteségét az eredeti tanári modell útmutatásaival. Az ADD gyártotta az SDXL Turbót, és egy látens változatot használtak olyan gyors modellekhez, mint az SD3 Turbo és a Black Forest Labs szerint a Flux.1 schnell. Az eredmény egy közel valós idejű képgenerálás közönséges hardveren, némi költséggel a sokféleség és a finom vezérlés terén.

Melyik két veszteséget kombinálja az ADD?

Az ADD párosítja a diszkriminátor kontradiktórius veszteségét, amely a képeket élesen tartja, a tanári pontszám-desztillációs veszteséggel, ami hűen tartja őket az eredeti modellhez.

Melyik modell jelent meg az ADD papír mellett?

A Stability AI Sauer és munkatársai 2023. novemberi ADD-papírjával kiadta az SDXL Turbót.

Milyen gerincet használ az ADD diszkriminátora?

A diszkriminátor fagyasztott, előre betanított DINOv2 funkciókat használ, és csak kis fejeket tanít rájuk.

Miben különbözik a LADD az ADD-től?

A LADD a diszkriminációt a rejtett térbe helyezi át a tanár saját funkcióival, amivel elkerülhető a költséges dekódolás pixelekre.

Miért van a negatív felszólításoknak gyakran kevés hatása a turbómodellekre?

A negatív felszólítások osztályozó nélküli útmutatáson keresztül hatnak. A desztillált modellek általában elnyelik az útmutatást edzés közben, és anélkül futnak, így a negatív felszólítások elvesztik hatásukat.