Wskazówki bez klasyfikatorów
Naprowadzanie bez klasyfikatorów to technika, która sprawia, że modele dyfuzji faktycznie podążają za wskazówkami, zamieniając pewną różnorodność na znacznie większą przyczepność.
Przegląd
It is the single dial behind the 'guidance scale' slider in nearly every image generator.
Głębokie nurkowanie
Wczesne rozpowszechnianie kierowane wymagało osobnego klasyfikatora, aby skierować próbki do pożądanej klasy, która była delikatna i wymagała dodatkowego szkolenia. Wytyczne wolne od klasyfikatorów, zaproponowane przez Jonathana Ho i Tima Salimansa w 2022 r., eliminują tę zależność. Podczas uczenia model losowo pomija warunkowanie (podpowiedź tekstową) przez pewien procent czasu, dzięki czemu uczy się generować prognozy warunkowe i bezwarunkowe w jednej sieci. W czasie próbkowania uruchamiasz model dwa razy na krok, raz z podpowiedzią i raz bez, a następnie ekstrapolujesz od przewidywania bezwarunkowego do przewidywania warunkowego. Stopień ekstrapolacji to skala wskazówek: wyższe wartości wymuszają ściślejsze, szybkie przyleganie i silniejsze nasycenie, podczas gdy niższe wartości zapewniają większą różnorodność, ale luźniejsze dopasowanie.
Wgląd techniczny
Matematycznie przewidywanie hałasu sterowanego jest przewidywaniem bezwarunkowym plus skala naprowadzania pomnożona przez różnicę między przewidywaniami warunkowymi i bezwarunkowymi. Skala 1 oznacza brak wskazówek; typowe wartości to 5 do 9. Bardzo wysokie przesunięcie skali wzmacnia natychmiastowe cechy, ale powoduje przesycenie kolorów, ostry kontrast i artefakty, ponieważ model ekstrapoluje daleko poza wyuczony rozkład. Kosztuje mniej więcej dwa przejścia do przodu na każdy etap odszumiania.
Wpływ strategiczny
Szybkość i skala
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
Buduj wybory
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
Zespół i przepływ pracy
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Przyszłość poradnictwa bez klasyfikatorów
Badacze udoskonalają wytyczne, aby zapewnić ich szybkie przestrzeganie bez przesycenia, poprzez dynamiczne ustalanie progów, harmonogramy wskazówek zmieniające siłę w poszczególnych krokach oraz sztuczki polegające na przeskalowaniu. Modele destylowane obejmują teraz naprowadzanie w jednym przebiegu, co pozwala zmniejszyć obliczenia o połowę, a nowsze formuły badają zaburzoną uwagę i automatyczne naprowadzanie, które nie wymagają w ogóle bezwarunkowej gałęzi, mając na celu uzyskanie ostrych, wiernych obrazów przy niższych kosztach.
Implementacja w świecie rzeczywistym
Dostosowanie suwaka „skali CFG” w trybie stabilnego rozproszenia lub Midjourney, aby zrównoważyć dokładność szybkości i kreatywność
Podnoszenie wskazówek, aby wymusić na generatorze uwzględnienie określonego, trudnego do renderowania obiektu opisanego w monicie
Obniżenie wskazówek, aby uzyskać bardziej zróżnicowane, mniej przesycone wyjścia podczas eksplorowania wielu opcji projektowych
Dostosowywanie harmonogramów wskazówek w procesach produkcyjnych w celu ograniczenia artefaktów wypalania kolorów w renderingach o wysokiej szczegółowości
Zagrożenia i poręcze
Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Plan wdrożenia
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Classifier-Free Guidance quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Naiwne klasyfikatory Bayesa
Często zadawane pytania
What is Classifier-Free Guidance?
Naprowadzanie bez klasyfikatorów to technika, która sprawia, że modele dyfuzji faktycznie podążają za wskazówkami, zamieniając pewną różnorodność na znacznie większą przyczepność. Jest to pojedyncze pokrętło za suwakiem „skali nawigacji” w prawie każdym generatorze obrazu.
Jaki jest główny cel poradnictwa wolnego od klasyfikatorów?
Wskazówki wolne od klasyfikatorów zwiększają szybkie przestrzeganie zasad poprzez ekstrapolację od przewidywania bezwarunkowego do przewidywania warunkowego.
W jaki sposób model uczy się dokonywać bezwarunkowych prognoz w celu uzyskania wskazówek wolnych od klasyfikatorów?
Podczas uczenia monit jest czasami losowo pomijany, więc jedna sieć uczy się zarówno zachowania warunkowego, jak i bezwarunkowego.
Co ogólnie daje zwiększenie skali wskazówek?
Wyższe wytyczne wymuszają ściślejsze przyleganie i silniejsze funkcje, ale zbyt duże wytyczne powodują przesycone, ostre i podatne na artefakty obrazy.
Mniej więcej, ilu przejść do przodu na etap odszumiania wymaga standardowe prowadzenie bez klasyfikatorów?
Model jest uruchamiany raz z podpowiedzią i raz bez niej, a następnie prognozy są łączone, co kosztuje około dwóch przebiegów na krok.
Jaką przewagę ma naprowadzanie bez klasyfikatorów nad naprowadzaniem klasyfikatorem?
Używając jednej sieci do obu prognoz, unika się delikatnego, dodatkowego klasyfikatora, którego wymagała starsza dyfuzja kierowana.