Null-szöveg inverziója
A nulla szöveg inverziója egy olyan technika, amely lehetővé teszi valódi fénykép szerkesztését olyan szövegvezérelt diffúziós modellel, mint a Stable Diffusion, miközben tökéletesen érintetlenül hagy mindent, amit nem kért.
Áttekintés
It bridges the gap between generating fresh images and faithfully reconstructing and re-editing ones you already have.
Mély merülés
Valódi kép diffúziós modellel való szerkesztéséhez először visszafelé kell futtatnia a generálási folyamatot, hogy megtalálja azt a zajt, amely újra létrehozná. A DDIM inverzió nevű gyors módszer megteszi ezt, de sodródik, így a rekonstrukció kissé hibásnak tűnik. Az osztályozó nélküli útmutatás, amely felerősíti a szöveges felszólítások erősségét a kép irányításakor, erősen felerősíti ezt a sodródást. A null-szöveg inverzió, amelyet Google kutatók vezettek be 2022-ben, ezt úgy javítja ki, hogy a modellt lefagyva hagyja, és ehelyett optimalizálja az útmutatásban használt „null” (üres) szövegbeágyazást, zajtalanítási időlépésenként egyet. Ez visszahelyezi a rekonstrukciót az eredeti képre, így a későbbi felszólításos szerkesztések, például a „kutyából” „macskává” alakítása, csak a kívánt tartalmat változtatják meg.
Technikai betekintés
Az osztályozó nélküli útmutatás extrapolál egy feltételes előrejelzés (prompttal) és egy feltétel nélküli (üres prompt beágyazással) között. A nulla szöveg inverziója a valódi promptot és a súlyokat rögzítetten tartja, és csak az üres beágyazást optimalizálja a körülbelül 50 diffúziós lépés mindegyikénél, így az irányított pálya követi az előre kiszámított DDIM útvonalat. Az eredmény egy majdnem pixel-tökéletes rekonstrukció teljes irányítási erősséggel, szabadon hagyva a promptot a precíz szerkesztések végrehajtásához.
Stratégiai hatás
Sebesség és méretarány
A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
Építési lehetőségek
A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
Csapat és munkafolyamat
A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.
A nullszöveg inverziójának jövője
A nullszöveg invertálása lassú volt, mert képenként optimalizál, így az újabb munkák az azonnali, optimalizálás nélküli inverzió felé tolódnak el. Az olyan módszerek, mint a negatív felszólítás inverziója, a közvetlen inverzió, valamint a gyorsabb konzisztenciára és néhány lépésből álló modellekre épülő megközelítések ugyanazt a hűséget célozzák egyetlen előremenetben. Várhatóan az inverzió egy csendes, beépített lépés lesz a fogyasztói fotószerkesztőkben, lehetővé téve a megbízható valós képszerkesztést anélkül, hogy a felhasználó látná a matematikát.
Valós megvalósítás
Valódi nyaralási fotó szerkesztése, így a parkoló autó más színűvé válik, miközben az utca, az emberek és a világítás érintetlen marad
Egy igazi kisállat fajtájának felcserélése egy családi portréban a háttér vagy a póz megváltoztatása nélkül
Tájfotó évszakának megváltoztatása (nyári lombozat őszre) csak a felszólító szó szerkesztésével
„Prompt-to-prompt” stílusú helyi szerkesztések végrehajtása a felhasználók által feltöltött képeken a kutatási demókban és a szerkesztő alkalmazásokban
Kockázatok és védőkorlátok
A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.
Végrehajtási ütemterv
Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Null-Text Inversion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Készítsen videót szövegből videóvá
Gyakran ismételt kérdések
What is Null-Text Inversion?
A nulla szöveg inverziója egy olyan technika, amely lehetővé teszi valódi fénykép szerkesztését olyan szövegvezérelt diffúziós modellel, mint a Stable Diffusion, miközben tökéletesen érintetlenül hagy mindent, amit nem kért. Áthidalja a szakadékot a friss képek létrehozása és a már meglévő képek hű rekonstruálása és újraszerkesztése között.
Mit optimalizál valójában a null-text inverzió?
Lefagyasztva tartja a modellt és a valódi promptot, és csak a feltétel nélküli/null szövegbeágyazást optimalizálja minden egyes időlépésben, ami gyors és roncsolásmentes.
Miért válik megbízhatatlanná a sima DDIM inverzió szerkesztéskor?
A DDIM inverzió kis hibákat halmoz fel, és a jó szerkesztésekhez szükséges erős útmutatás felnagyítja ezt a sodródást, lerontja a rekonstrukciót.
Mi a fő célja egy valós kép megfordításának szerkesztés előtt?
A szerkesztéshez olyan zajmagra és pályára van szükség, amely rekonstruálja az eredetit, így az azonnali változtatások csak a kívánt tartalmat módosítják.
Körülbelül hogyan kezeli a null-text inverzió az optimalizálást a diffúziós folyamat során?
Időlépésenként külön null-szöveg beágyazás hangolódik, így az irányított útvonal szorosan követi az előre kiszámított inverziós pályát.
A nulla szöveg inverziója leggyakrabban milyen szerkesztési megközelítéssel párosul?
Ha egy valódi képet hűen megfordítanak, a prompt-vezérelt módszerek, például a prompt-to-prompt célzott, lokalizált változtatásokat hajthatnak végre.