LegközelebbKövetkező útmutató
Gondolati csontváz párhuzamos dekódolás
Nyelvi AI
Vizuális MI ÚTMUTATÓ
MaskGIT generates images by predicting many tokens at once and selecting high-confidence predictions for subsequent refinement, replacing left-to-right generation with parallel iterations.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Confidence is a model score used for selection, not a guarantee that a token is correct.
MaskGIT (Masked Generative Image Transformer), from Google in 2022, rethinks how token-based image models decode. Earlier transformers such as VQGAN generate tokens autoregressively, one at a time in raster order. MaskGIT instead trains with a masked modeling objective like BERT: random subsets of image tokens are hidden and the model learns to predict them simultaneously using bidirectional attention. At generation time it starts from a masked grid and decodes over a configured number of refinement iterations; the original paper reports examples using roughly 8 to 12 steps, but the count depends on the setup rather than defining the algorithm. Each step predicts masked tokens, keeps selected high-confidence predictions, and re-masks other positions. Confidence ranks candidates for the next iteration; it does not prove a prediction is correct.
Teljes kép generálása körülbelül 8-12 párhuzamos lépésben több száz autoregresszív token előrejelzés helyett
A fénykép maszkolt részének megfestése úgy, hogy csak a rejtett tokeneket írja újra a környező kontextussal
Osztályos feltételes képszintézis az ImageNeten, sokkal lassabb modellekkel versenyképes minőségben
Dekódolási gerincként szolgál a gyors generálást igénylő szöveg-képrendszerekhez, például Google MUSE-jához
A MaskGIT párhuzamos iteratív dekódolása nem autoregresszív generátorok hullámát inspirálta, beleértve a MUSE-t a szöveg-képké alakításhoz és a maszkos megközelítéseket a videóhoz. A tokeneket párhuzamosan előrejelző és néhány lépésben finomító minta az egyszeri GAN-ok és a többlépcsős diffúzió között helyezkedik el, hangolható minőség-sebesség kompromisszumot kínálva. Várhatóan a maszkolt token dekódolás továbbra is megjelenik a gyors multimodális generátorokban és szerkesztőrendszerekben, ahol a befestés és a feltételes kitöltések természetesek.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
MaskGIT generates images by predicting many tokens at once and selecting high-confidence predictions for subsequent refinement, replacing left-to-right generation with parallel iterations. Confidence is a model score used for selection, not a guarantee that a token is correct.
A MaskGIT a VQGAN lassú, balról jobbra irányú autoregresszív dekódolásával ellentétben az összes maszkolt tokent egyidejűleg előrejelzi a kétirányú figyelem mellett.
A MaskGIT elrejti a tokenek véletlenszerű részhalmazait, és megtanulja megjósolni őket, ez a BERT-hez hasonló maszkolt modellezési cél.
A MaskGIT minden iterációnál megtartja az előrejelzéseket a legmagasabb modellbiztonssággal, és újramaszkolja a többi pozíciót. A bizalom egy rangsorolási jel a tokenek kiválasztásához, nem pedig annak bizonyítéka, hogy minden kiválasztott token helyes.
Az útmutató nagyjából 8-12 lépést említ példaként az eredeti papír képgenerálási beállításaiból; a szám inkább konfigurációfüggő, semmint univerzális követelmény.
A koszinusz ütemezés néhány tokent tár fel korábban, és többet később, egyensúlyban tartva a minőséget és a sebességet az iterációk között.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Gondolati csontváz párhuzamos dekódolás
Nyelvi AI