LegközelebbKövetkező útmutató
Szöveg-3D generálás
Vizuális AI
Vizuális MI ÚTMUTATÓ
A GLIGEN (Grounded-Language-to-Image Generation) lehetővé teszi, hogy pontosan szabályozza, hogy az objektumok hol jelenjenek meg a generált képen azáltal, hogy a modell határoló dobozait és címkéit a szöveges prompt mellé adagolja.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A homályos szöveget képpé alakítja precíz, elrendezéssel vezérelhető szintézissé.
A szabványos szöveg-képmodellek küzdenek a térbeli szabályozással: „macska a kutyától balra” kérve gyakran rosszul helyezi el. A 2023-ban bemutatott GLIGEN ezt földelési bemenetek hozzáadásával oldja meg, például határolókereteket szöveges vagy képi entitásokkal, kulcspontokkal vagy referenciaképekkel párosítva. Lényeges, hogy lefagyasztja az eredeti előképzett diffúziós modell súlyait, és új, betanítható, zárt önfigyelő rétegeket fecskendez be, amelyek elnyelik a földelési tokeneket. Ez azt jelenti, hogy olyan modellre épít, mint a Stable Diffusion, anélkül, hogy megsemmisítené a tanult tudását, és a kapuzás a nulla közelében kezdődik, így az alapmodell viselkedése a képzés korai szakaszában megmarad. Az eredmény egy nyílt világú földelt generálás: tetszőleges leírt objektumokat helyezhet el meghatározott helyekre, és általánosít olyan koncepciókra és elrendezésekre, amelyeket a földelési képzés során nem látott.
Embléma vagy termék elhelyezése a generált hirdetés pontos régiójában határolókeret segítségével
Összetett jelenetek komponálása az egyes karakterek vagy objektumok helyének meghatározásával a renderelés előtt
Tanítási adatok generálása objektumészleléshez ismert alap-igazság doboz helyekkel
Leírt objektum befestése egy meglévő fénykép felhasználó által rajzolt területére
A földelt és elrendezéssel vezérelhető generálás a gyártóeszközök szabványossá válik. A GLIGEN-stílusú térkondicionálástól elvárható, hogy egyesüljön más vezérlési módszerekkel, például a ControlNettel és a regionális felszólítással, és kiterjedjen a videóra és a 3D-re, ahol az objektumok időben és térben való elhelyezése még fontosabb. Amint a modellek utasításkövető interfészt alkalmaznak, a fogd és vidd elrendezés vezérlése és a nyelv által meghatározott jelenetgrafikonok precíz kompozíciót tesznek elérhetővé azonnali tervezési trükkök nélkül.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A GLIGEN (Grounded-Language-to-Image Generation) lehetővé teszi, hogy pontosan szabályozza, hogy az objektumok hol jelenjenek meg a generált képen azáltal, hogy a modell határoló dobozait és címkéit a szöveges prompt mellé adagolja. A homályos szöveget képpé alakítja precíz, elrendezéssel vezérelhető szintézissé.
A GLIGEN földelési bemeneteket, például határolódobozokat ad hozzá, így Ön pontosan szabályozhatja, hogy az objektumok hol helyezkedjenek el, és az egyszerű szöveges felszólításokat rosszul kezelik.
A GLIGEN lefagyasztja az alapmodellt, és új, zárt önfigyelő rétegeket fecskendez be, így az eredeti tanult tudás érintetlen marad.
A GLIGEN támogatja a földelést szöveg/kép entitásokkal, kulcspontokkal és referenciaképekkel határoló dobozokon keresztül.
A nulla inicializált kapu azt jelenti, hogy a földelésnek kezdetben nincs hatása, megőrzi az eredeti modellt, és stabilan tartja az edzést, ahogy a vezérlés felfelé halad.
A GLIGEN a földelési oktatókészletén túl általánosít, és az újszerű objektumokat meghatározott helyekre helyezi el.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Szöveg-3D generálás
Vizuális AI