Egyedi diffúziós többkoncepciós hangolás
A Custom Diffusion egy könnyű finomhangolási módszer, amely néhány fényképből új személyes fogalmakat tanít meg a szöveg-kép modellnek, mint például a kutyája vagy egy adott szék.
Áttekintés
Its standout feature is composing several newly learned concepts together in one generated scene.
Mély merülés
Az Adobe és a CMU kutatói által 2022-ben kiadott Custom Diffusion személyre szabja az olyan modelleket, mint például a Stable Diffusion, anélkül, hogy az egész hálózatot átképezné. Ahelyett, hogy minden súlyozást frissített volna, felfedezte, hogy csak egy kis szelet, a kulcs- és értékvetítési mátrixok frissítése a keresztfigyelem rétegekben elegendő ahhoz, hogy nagyjából 4-20 képből új koncepciót fogadjon el. Így a hangolás gyors (percek) és a tárhely kicsi (megabájt helyett gigabájt). Lényeges, hogy egyszerre több fogalmat is el tud tanulni közös képzéssel vagy külön betanított fogalmak egyesítésével, korlátozott optimalizálással. Ez lehetővé teszi, hogy bekérje, mondjuk, a saját macskáját üljön az adott dizájner széken, ami az egykoncepciós módszerek nehezen kombinálható.
Technikai betekintés
A keresztfigyelem az, ahol a szöveges felszólítás befolyásolja a képet; a szöveges tokenek olyan lekérdezéseket alkotnak, amelyek a diffúziós modell vizuális jellemzőit kulcs- és értékmátrixokon keresztül kezelik. A Custom Diffusion lefagyasztja az U-Net nagy részét, és csak azokat a K és V vetületeket hangolja be, amelyek a leginkább felelősek a szavak megjelenéséhez fűzéséért. A koncepció kategóriájában megosztó, valós képek szabályosító készletét is használja, hogy megakadályozza a modell túlillesztését és a szó tágabb jelentésének elfelejtését.
Stratégiai hatás
Sebesség és méretarány
A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
Építési lehetőségek
A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
Csapat és munkafolyamat
A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.
Az egyedi diffúziós többkoncepciós hangolás jövője
A többkoncepciós személyre szabás közeledik az adapter-ökoszisztémákhoz, például a LoRA-hoz, ahol sok kis koncepciómodul keverhető a következtetési időben. A jövőbeli rendszerek célja, hogy több tucat egyedi koncepciót tisztán összeállítsanak, anélkül, hogy attribútumokat okoznának (a macska színe a székre szivárogna), és a hangolást másodpercek alatt, vagy akár csak kódoló segítségével végezzék el, optimalizálás nélkül. Várhatóan ez alátámasztja a márkakonzisztens eszközgenerálást, a személyes avatarokat és az eszközön történő testreszabást.
Valós megvalósítás
A modell megtanítása az Ön kedvencének néhány fényképből, majd új pózok, jelmezek és beállítások létrehozása
A márka termékének (tornacipő vagy palack) és a márka kabalája megtanulása, majd mindkettő összeállítása egy marketing arculatban
Egy személyes művészeti tárgy megörökítése és egy családtag képmása, és összerakása kitalált jelenetekben
Egyedi bútordarab egyedi szobastílussal kombinálva a belsőépítészeti koncepciók modellezésére
Kockázatok és védőkorlátok
A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.
Végrehajtási ütemterv
Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Custom Diffusion Multi-Concept Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Diffúziós szabályzat a robotvezérléshez
Gyakran ismételt kérdések
What is Custom Diffusion Multi-Concept Tuning?
A Custom Diffusion egy könnyű finomhangolási módszer, amely néhány fényképből új személyes fogalmakat tanít meg a szöveg-kép modellnek, mint például a kutyája vagy egy adott szék. Kiemelkedő tulajdonsága, hogy több újonnan tanult fogalom összeállítása egyetlen generált jelenetben.
A diffúziós modell melyik részét finomítja elsõsorban az egyéni diffúzió?
Csak a keresztfigyelem K és V mátrixokat frissíti, amelyek a szavakat a megjelenéshez kötik, így a hangolás gyors és a mentett fájl kicsi.
Mi a legfigyelemreméltóbb az Egyéni diffúzió az egykoncepciós módszerekhez képest?
Aláírási képessége több fogalomgenerálás, amely több személyre szabott témát kombinál.
Körülbelül hány példaképre van szüksége a Custom Diffusion-nak egy fogalom megtanulásához?
Egy kis maroknyi képből tanul, így a személyre szabás praktikus a mindennapi felhasználók számára.
Miért használ a Custom Diffusion a koncepció tágabb kategóriájából származó szabályosító képeket?
A szabályosító képek érintetlenül tartják a kategóriaszó általános jelentését, így a modell nem omlik össze csak az új koncepcióra.
Hogyan használható két külön kiképzett egyedi diffúziós koncepció együtt?
Az önállóan tanult fogalmak zárt formájú, korlátozott optimalizálással egyesíthetők, lehetővé téve a közös promptokat.