Niestandardowe dostrajanie wielu koncepcji dyfuzji
Custom Diffusion to lekka metoda dostrajania, która uczy modelu tekstu na obraz nowych osobistych koncepcji, takich jak Twój pies lub konkretne krzesło, na podstawie zaledwie kilku zdjęć.
Przegląd
Its standout feature is composing several newly learned concepts together in one generated scene.
Głębokie nurkowanie
Wydane przez badaczy Adobe i CMU w 2022 r. narzędzie Custom Diffusion personalizuje modele takie jak Stable Diffusion bez konieczności ponownego uczenia całej sieci. Zamiast aktualizować każdą wagę, odkryto, że aktualizacja tylko małego wycinka, czyli macierzy projekcji kluczy i wartości w warstwach wzajemnej uwagi, wystarczy, aby wchłonąć nową koncepcję z około 4 do 20 obrazów. Dzięki temu dostrajanie jest szybkie (w minutach), a pamięć masowa niewielka (w megabajtach zamiast gigabajtach). Co najważniejsze, może uczyć się wielu koncepcji jednocześnie poprzez wspólne szkolenie lub poprzez łączenie oddzielnie trenowanych koncepcji przy użyciu ograniczonej optymalizacji. Dzięki temu możesz podpowiedzieć, powiedzmy, konkretnego kota siedzącego na konkretnym designerskim krześle, co jest trudne do połączenia w przypadku metod opartych na jednej koncepcji.
Wgląd techniczny
Przekierowanie uwagi ma miejsce wtedy, gdy podpowiedź tekstowa wpływa na obraz; tokeny tekstowe tworzą zapytania, które dotyczą cech wizualnych modelu dyfuzji za pośrednictwem macierzy kluczy i wartości. Custom Diffusion zamraża większość sieci U-Net i dostraja tylko te projekcje K i V, czyli części najbardziej odpowiedzialne za wiązanie słów z wyglądem. Wykorzystuje również zestaw regularyzacji rzeczywistych obrazów należących do tej samej kategorii koncepcji, aby zapobiec nadmiernemu dopasowaniu modelu i zapomnieniu o szerszym znaczeniu słowa.
Wpływ strategiczny
Szybkość i skala
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
Buduj wybory
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
Zespół i przepływ pracy
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Przyszłość tuningu opartego na wielu koncepcjach niestandardowego dyfuzji
Personalizacja obejmująca wiele koncepcji łączy się z ekosystemami adapterów, takimi jak LoRA, w których wiele małych modułów koncepcyjnych można mieszać w czasie wnioskowania. Przyszłe systemy mają na celu czyste skomponowanie dziesiątek niestandardowych koncepcji, bez spadków atrybutów (kolor kota wyciekający na krzesło) i dostrojenie w ciągu kilku sekund lub nawet samego kodera, bez optymalizacji. Oczekuj, że będzie to stanowić podstawę generowania zasobów spójnych z marką, osobistych awatarów i dostosowywania na urządzeniu.
Implementacja w świecie rzeczywistym
Naucz modela konkretnego zwierzaka na podstawie kilku zdjęć, a następnie wygeneruj go w nowych pozach, kostiumach i ustawieniach
Poznanie produktu marki (trampki lub butelki) i maskotki marki, a następnie skomponowanie obu w jeden obraz marketingowy
Uchwycenie osobistego obiektu artystycznego oraz podobizny członka rodziny i umieszczenie ich w wymyślonych scenach
Łączenie niestandardowego mebla z niestandardowym stylem pomieszczenia w celu stworzenia makiety koncepcji aranżacji wnętrz
Zagrożenia i poręcze
Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Plan wdrożenia
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Custom Diffusion Multi-Concept Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Polityka rozpowszechniania kontroli robotów
Często zadawane pytania
What is Custom Diffusion Multi-Concept Tuning?
Custom Diffusion to lekka metoda dostrajania, która uczy modelu tekstu na obraz nowych osobistych koncepcji, takich jak Twój pies lub konkretne krzesło, na podstawie zaledwie kilku zdjęć. Jego wyróżniającą cechą jest łączenie kilku nowo poznanych koncepcji w jedną wygenerowaną scenę.
Którą część modelu dyfuzji dostosowuje przede wszystkim funkcja Custom Diffusion?
Aktualizuje jedynie macierze K i V, które wiążą słowa z wyglądem, zapewniając szybkie strojenie i mały zapisany plik.
Czym wyróżnia się rozproszenie niestandardowe w porównaniu z metodami opartymi na jednej koncepcji?
Jego cechą charakterystyczną jest generowanie wielu koncepcji, łączące w sobie kilka spersonalizowanych tematów.
Mniej więcej, ile przykładowych obrazów potrzebuje Custom Diffusion, aby poznać koncepcję?
Uczy się na podstawie niewielkiej liczby obrazów, dzięki czemu personalizacja jest praktyczna dla codziennych użytkowników.
Dlaczego Custom Diffusion korzysta z zestawu obrazów regularyzacyjnych z szerszej kategorii koncepcji?
Obrazy regularyzacyjne zachowują nienaruszone ogólne znaczenie słowa kategorii, dzięki czemu model nie ogranicza się tylko do nowej koncepcji.
W jaki sposób można razem wykorzystać dwie oddzielnie przeszkolone koncepcje niestandardowego rozpowszechniania?
Niezależnie wyuczone koncepcje można łączyć poprzez optymalizację w formie zamkniętej, umożliwiając wspólne podpowiedzi.