Vlastní difúzní multikoncepční ladění
Custom Diffusion je lehká metoda jemného dolaďování, která učí model z textu na obrázek novým osobním konceptům, jako je váš pes nebo konkrétní židle, z pouhých několika fotografií.
Přehled
Its standout feature is composing several newly learned concepts together in one generated scene.
Hluboký ponor
Custom Diffusion, vydaný výzkumnými pracovníky Adobe a CMU v roce 2022, přizpůsobuje modely, jako je Stable Diffusion, bez přeškolování celé sítě. Namísto aktualizace každé váhy zjistil, že aktualizace pouze malého výřezu, klíčové a hodnotové projekční matice ve vrstvách křížové pozornosti, stačí k absorbování nového konceptu ze zhruba 4 až 20 obrázků. Díky tomu je ladění rychlé (minuty) a úložiště malé (spíše megabajty než gigabajty). Zásadní je, že se může naučit více konceptů najednou prostřednictvím společného tréninku nebo sloučením samostatně vyškolených konceptů pomocí omezené optimalizace. To vám umožní vyzvat, řekněme, vaši konkrétní kočku sedící na vaší konkrétní designové židli, což je něco, co se metody s jedním konceptem jen těžko kombinují.
Technický přehled
Křížová pozornost je místo, kde textová výzva ovlivňuje obrázek; textové tokeny tvoří dotazy, které se zabývají vizuálními vlastnostmi modelu difúze prostřednictvím matice klíčů a hodnot. Custom Diffusion zmrazí většinu U-Net a vyladí pouze ty K a V projekce, části nejvíce zodpovědné za spojení slov se vzhledem. Využívá také regularizační sadu skutečných obrázků sdílejících kategorii konceptu, aby se zabránilo tomu, že model bude přepastován a zapomene na širší význam slova.
Strategický dopad
Rychlost a měřítko
Vizuální AI může automatizovat úkoly inspekce, detekce a označování ve velkém měřítku.
Volby sestavy
Kreativní týmy mohou prototypovat koncepty rychleji s menším počtem ručních revizí.
Tým a pracovní postup
Operace mohou využívat obrazové a video signály, které bylo dříve obtížné zpracovat.
Budoucnost vlastního difúzního multikoncepčního ladění
Multikoncepční personalizace se sbližuje s adaptačními ekosystémy, jako je LoRA, kde lze v době odvození smíchat mnoho malých koncepčních modulů. Cílem budoucích systémů je skládat desítky vlastních konceptů čistě bez prolínání atributů (barva kočky prosakující na židli) a provádět ladění během několika sekund nebo dokonce pouze pomocí kodéru, bez jakékoli optimalizace. Očekávejte, že to podpoří generování aktiv konzistentních se značkou, osobních avatarů a přizpůsobení na zařízení.
Real-World Implementace
Naučte model svého konkrétního mazlíčka z hrstky fotografií a poté jej vygenerujte v nových pózách, kostýmech a nastaveních
Naučte se produkt značky (tenisky nebo láhev) a maskota značky a poté oba poskládejte do jednoho marketingového obrázku
Zachycení osobního uměleckého předmětu a podobizny člena rodiny a jejich umístění do vymyšlených scén
Kombinace kusu nábytku na míru s vlastním stylem místnosti, abyste vytvořili modelové koncepty interiérového designu
Rizika a zábradlí
Obrazová práva a souhlas se mohou stát právním rizikem, pokud je původ nejasný.
Výkon modelu se může lišit podle osvětlení, demografických údajů a prostředí.
Falešně pozitivní mohou zůstat bez povšimnutí, pokud nejsou monitorovány prahové hodnoty spolehlivosti.
Plán implementace
Definujte kritéria přijatelnosti pro přesnost, stažení a náklady na chyby.
Testujte s daty, která odpovídají reálným výrobním podmínkám.
Přidejte lidskou kontrolu pro předpovědi s nízkou spolehlivostí nebo velkým dopadem.
Sledujte posun modelu a znovu ověřte po změnách kamery nebo datové sady.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Custom Diffusion Multi-Concept Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Zásady šíření pro řízení robotů
Často kladené otázky
What is Custom Diffusion Multi-Concept Tuning?
Custom Diffusion je lehká metoda jemného dolaďování, která učí model z textu na obrázek novým osobním konceptům, jako je váš pes nebo konkrétní židle, z pouhých několika fotografií. Jeho výjimečným rysem je skládání několika nově naučených konceptů dohromady v jedné generované scéně.
Kterou část modelu difúze Custom Diffusion primárně dolaďuje?
Aktualizuje pouze matice křížové pozornosti K a V, které spojují slova se vzhledem, udržují rychlé ladění a uložený soubor je malý.
Čím je Custom Diffusion nejpozoruhodnější ve srovnání s metodami s jedním konceptem?
Jeho charakteristickou schopností je generování více konceptů, které kombinuje několik personalizovaných předmětů dohromady.
Kolik ukázkových obrázků zhruba potřebuje Custom Diffusion, aby se naučil koncept?
Učí se z malé hrstky obrázků, díky čemuž je přizpůsobení praktické pro každodenní uživatele.
Proč Custom Diffusion používá sadu regularizačních obrázků z širší kategorie konceptu?
Regularizační obrázky zachovávají obecný význam slova kategorie nedotčený, takže model se nezhroutí pouze na nový koncept.
Jak lze společně použít dva samostatně vyškolené koncepty vlastní difúze?
Nezávisle naučené koncepty lze sloučit prostřednictvím omezené optimalizace s uzavřenou formou, která umožňuje spojovat výzvy.