VolgendeVolgende gids
Parallelle decodering volgens het skelet van het denken
Taal AI
Visuele AI-GIDS
MaskGIT generates images by predicting many tokens at once and selecting high-confidence predictions for subsequent refinement, replacing left-to-right generation with parallel iterations.
Luister naar deze gidsAI-verteld · ~2 min
Confidence is a model score used for selection, not a guarantee that a token is correct.
MaskGIT (Masked Generative Image Transformer), from Google in 2022, rethinks how token-based image models decode. Earlier transformers such as VQGAN generate tokens autoregressively, one at a time in raster order. MaskGIT instead trains with a masked modeling objective like BERT: random subsets of image tokens are hidden and the model learns to predict them simultaneously using bidirectional attention. At generation time it starts from a masked grid and decodes over a configured number of refinement iterations; the original paper reports examples using roughly 8 to 12 steps, but the count depends on the setup rather than defining the algorithm. Each step predicts masked tokens, keeps selected high-confidence predictions, and re-masks other positions. Confidence ranks candidates for the next iteration; it does not prove a prediction is correct.
Genereren van een volledig beeld in ongeveer 8 tot 12 parallelle stappen in plaats van honderden autoregressieve tokenvoorspellingen
Een gemaskeerd gebied van een foto inschilderen door alleen de verborgen tokens opnieuw te voorspellen met de omringende context
Klasse-voorwaardelijke beeldsynthese op ImageNet met een kwaliteit die concurreert met veel langzamere modellen
Dient als decoderingsruggengraat voor tekst-naar-beeldsystemen zoals Google's MUSE die een snelle generatie nodig hebben
De parallelle iteratieve decodering van MaskGIT inspireerde een golf van niet-autoregressieve generatoren, waaronder MUSE voor tekst-naar-afbeelding en gemaskerde benaderingen voor video. Het patroon, dat tokens parallel voorspelt en in een paar stappen verfijnt, bevindt zich tussen eenmalige GAN's en diffusie in meerdere stappen, en biedt een afstembare afweging tussen kwaliteit en snelheid. Verwacht dat gemaskeerde token-decodering zal blijven verschijnen in snelle multimodale generatoren en bewerkingssystemen waar in-painting en voorwaardelijke opvullingen vanzelfsprekend zijn.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
MaskGIT generates images by predicting many tokens at once and selecting high-confidence predictions for subsequent refinement, replacing left-to-right generation with parallel iterations. Confidence is a model score used for selection, not a guarantee that a token is correct.
MaskGIT voorspelt alle gemaskeerde tokens tegelijkertijd met bidirectionele aandacht, in tegenstelling tot de langzame autoregressieve decodering van links naar rechts van VQGAN.
MaskGIT verbergt willekeurige subsets van tokens en leert deze te voorspellen, een gemaskeerd modelleringsdoel vergelijkbaar met BERT.
At each iteration, MaskGIT retains the predictions with the highest model confidence and re-masks other positions. Confidence is a ranking signal for selecting tokens, not proof that each selected token is correct.
The guide cites roughly 8 to 12 steps as an example from the original paper’s image-generation setups; the count is configuration-dependent rather than a universal requirement.
Een cosinusschema onthult enkele tokens vroeg en meer later, waardoor kwaliteit en snelheid over de iteraties heen in evenwicht worden gebracht.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Parallelle decodering volgens het skelet van het denken
Taal AI