Il prossimoProssima guida
Decodifica parallela dello scheletro del pensiero
Intelligenza artificiale linguistica
GUIDA AI visiva
MaskGIT generates images by predicting many tokens at once and selecting high-confidence predictions for subsequent refinement, replacing left-to-right generation with parallel iterations.
Ascolta questa guidaNarrato dall'IA · ~2 min
Confidence is a model score used for selection, not a guarantee that a token is correct.
MaskGIT (Masked Generative Image Transformer), from Google in 2022, rethinks how token-based image models decode. Earlier transformers such as VQGAN generate tokens autoregressively, one at a time in raster order. MaskGIT instead trains with a masked modeling objective like BERT: random subsets of image tokens are hidden and the model learns to predict them simultaneously using bidirectional attention. At generation time it starts from a masked grid and decodes over a configured number of refinement iterations; the original paper reports examples using roughly 8 to 12 steps, but the count depends on the setup rather than defining the algorithm. Each step predicts masked tokens, keeps selected high-confidence predictions, and re-masks other positions. Confidence ranks candidates for the next iteration; it does not prove a prediction is correct.
Generazione di un'immagine completa in circa 8-12 passaggi paralleli invece di centinaia di previsioni di token autoregressivi
Dipingere un'area mascherata di una foto prevedendo nuovamente solo i token nascosti con il contesto circostante
Sintesi di immagini condizionata alla classe su ImageNet a qualità competitiva con modelli molto più lenti
Funge da spina dorsale di decodifica per i sistemi di conversione da testo a immagine come MUSE di Google che necessitano di una generazione rapida
La decodifica iterativa parallela di MaskGIT ha ispirato un'ondata di generatori non autoregressivi, tra cui MUSE per la conversione da testo a immagine e approcci mascherati per i video. Il modello, che prevede i token in parallelo e li perfeziona in pochi passaggi, si colloca tra i GAN one-shot e la diffusione in più passaggi, offrendo un compromesso regolabile tra qualità e velocità. Aspettatevi che la decodifica dei token mascherati continui ad apparire in generatori multimodali veloci e sistemi di modifica in cui i riempimenti interni e condizionali sono naturali.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
MaskGIT generates images by predicting many tokens at once and selecting high-confidence predictions for subsequent refinement, replacing left-to-right generation with parallel iterations. Confidence is a model score used for selection, not a guarantee that a token is correct.
MaskGIT prevede tutti i token mascherati simultaneamente con attenzione bidirezionale, a differenza della lenta decodifica autoregressiva da sinistra a destra di VQGAN.
MaskGIT nasconde sottoinsiemi casuali di token e impara a prevederli, un obiettivo di modellazione mascherato simile a BERT.
Ad ogni iterazione, MaskGIT conserva le previsioni con la massima confidenza del modello e maschera nuovamente le altre posizioni. La fiducia è un segnale di classificazione per la selezione dei token, non una prova che ciascun token selezionato sia corretto.
La guida cita circa 8-12 passaggi come esempio delle configurazioni di generazione delle immagini del documento originale; il conteggio dipende dalla configurazione piuttosto che da un requisito universale.
Una pianificazione coseno rivela pochi token all'inizio e altri in seguito, bilanciando qualità e velocità tra le iterazioni.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Decodifica parallela dello scheletro del pensiero
Intelligenza artificiale linguistica