NastępnyNastępny poradnik
Zapamiętywanie w modelach dyfuzyjnych
Techniczne
PRZEWODNIK techniczny
Modele destylacji dyfuzyjnej i turbo
Adversarial Diffusion Distillation (ADD) to metoda trenowania, która zmienia wolny, wielokrokowy model dyfuzyjny w model uczniowski generujący obrazy w jednym do czterech kroków.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie4 minuty czytania
Przegląd
Łączy ona stratę adwersarialną z dyskryminatora z wytycznymi (guidance) z oryginalnego modelu nauczyciela. ADD stworzyło SDXL Turbo, a wariant utajony został użyty w szybkich modelach, takich jak SD3 Turbo oraz, według Black Forest Labs, Flux.1 schnell. Rezultatem jest generowanie obrazów w czasie zbliżonym do rzeczywistego na zwykłym sprzęcie, kosztem pewnej różnorodności i precyzyjnej kontroli.
Głębokie nurkowanie
A standard diffusion model creates an image by removing noise over many steps, commonly 20 to 50, and each step is a full pass through a large network. Distillation trains a student network to reach a similar result in far fewer steps. Stability AI introduced Adversarial Diffusion Distillation in a November 2023 paper by Axel Sauer and colleagues, released alongside SDXL Turbo. The student starts from the pretrained SDXL weights and is trained with two losses. The adversarial loss comes from a discriminator that tries to tell the student's outputs from real images. In ADD, this discriminator is built on a frozen pretrained vision backbone (DINOv2) with small trainable heads. The distillation loss uses the original SDXL as a teacher. The student's output is noised again, the teacher denoises it, and the student is pushed toward the teacher's prediction, a form of score distillation. The adversarial term keeps single-step images sharp, and the teacher term keeps them faithful to what the large model knows. A later variant, Latent Adversarial Diffusion Distillation (LADD), runs the discriminator in latent space using the teacher's own features, which avoids expensive decoding to pixels. It was used for SD3 Turbo, and Black Forest Labs has said Flux.1 schnell was trained this way. The trade-offs are real. Distilled models usually lose some sample diversity, so different seeds for the same prompt can look alike. Classifier-free guidance is typically built in, so the guidance scale and negative prompts behave differently or barely work. Fine detail, text rendering and unusual compositions may lag behind the teacher. A common misconception is that a turbo model is just the full model run with fewer steps. A normal model run at one step gives a blurry mess, and the speed comes from retraining. Other routes to fast sampling include consistency models, LCM, progressive distillation and SDXL Lightning.
Implementacja w świecie rzeczywistym
Aplikacja do rysowania na żywo regeneruje obraz za każdym razem, gdy użytkownik wpisuje tekst lub edytuje szkic, wykorzystując SDXL Turbo w jednym kroku, dzięki czemu wyniki pojawiają się niemal natychmiast.
Studio gier tworzące prototypy grafik koncepcyjnych generuje setki szybkich wariantów za pomocą Flux.1 schnell w czterech krokach, a następnie dopracowuje wybrane z nich za pomocą wolniejszego, pełnego modelu.
Programista odkrywa, że negatywne prompty i wysokie wartości guidance mają niewielki wpływ na model Turbo, ponieważ guidance zostało wbudowane podczas destylacji. Zamiast tego dostosowuje brzmienie promptu.
Mała organizacja non-profit uruchamia lokalne narzędzie do obsługi obrazów na średniej klasy karcie graficznej i wybiera model destylowany, ponieważ czterokrokowe generowanie sprawia, że czas oczekiwania jest wystarczająco krótki na potrzeby warsztatów na żywo.
Przyszłość Adversarial Diffusion Distillation i modeli Turbo
Generowanie w kilku krokach stało się oczekiwaną opcją dla nowych modeli obrazów, a podobne pomysły dotyczące destylacji są stosowane w wideo, gdzie każdy zaoszczędzony krok ma jeszcze większe znaczenie. Badania nad niwelowaniem różnic w różnorodności i kontroli promptów trwają, na przykład poprzez łączenie strat adwersarialnych z celami dopasowania rozkładu. Czy modele jednokrokowe mogą w pełni dorównać swoim nauczycielom, pozostaje otwartym pytaniem, a odpowiedź zależy od tego, jak mierzona jest jakość. Dla użytkowników praktycznym rezultatem jest większy wybór: szybkie, destylowane modele do szkiców, podglądów i narzędzi interaktywnych oraz wolniejsze, pełne modele, gdy liczy się szczegółowość i kontrola.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Rozwiąż quiz o Adversarial Diffusion Distillation i modelach Turbo
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Czym są Adversarial Diffusion Distillation i modele Turbo?
Adversarial Diffusion Distillation (ADD) to metoda trenowania, która zmienia wolny, wielokrokowy model dyfuzyjny w model uczniowski generujący obrazy w jednym do czterech kroków. Łączy ona stratę adwersarialną z dyskryminatora z wytycznymi (guidance) z oryginalnego modelu nauczyciela. ADD stworzyło SDXL Turbo, a wariant utajony został użyty w szybkich modelach, takich jak SD3 Turbo oraz, według Black Forest Labs, Flux.1 schnell. Rezultatem jest generowanie obrazów w czasie zbliżonym do rzeczywistego na zwykłym sprzęcie, kosztem pewnej różnorodności i precyzyjnej kontroli.
Które dwie straty łączy ADD?
ADD łączy stratę kontradyktoryjności dyskryminatora, która utrzymuje ostrość obrazów, z utratą wyniku destylacji przez nauczyciela, co pozwala zachować wierność oryginalnemu modelowi.
Który model został wydany wraz z papierem ADD?
Stability AI wypuścił SDXL Turbo wraz z artykułem ADD z listopada 2023 r. autorstwa Sauera i współpracowników.
Z jakiego szkieletu korzysta dyskryminator ADD?
Dyskryminator wykorzystuje zamrożone, wstępnie wyszkolone funkcje DINOv2 i trenuje na nich tylko małe głowy.
Czym różni się LADD od ADD?
LADD przenosi dyskryminację w przestrzeń ukrytą, korzystając z własnych funkcji nauczyciela, co pozwala uniknąć kosztownego dekodowania do pikseli.
Dlaczego negatywne podpowiedzi często mają niewielki wpływ na modele z turbodoładowaniem?
Negatywne podpowiedzi działają poprzez wskazówki wolne od klasyfikatorów. Modele destylowane zazwyczaj absorbują wskazówki podczas treningu i biegają bez nich, więc negatywne podpowiedzi tracą swój efekt.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat