Il prossimoProssima guida
Generazione di immagini in video
IA visiva
GUIDA AI visiva
Autoregressive image models generate a sequence of visual tokens one at a time, conditioning each next token on earlier tokens and any text prompt.
Ascolta questa guidaNarrato dall'IA · ~2 min
This sequential procedure differs from masked parallel decoding.
PixelRNN/PixelCNN model conditional distributions over pixels in an ordered raster sequence. The original DALL·E work instead uses a discrete VAE to represent images as tokens and trains an autoregressive Transformer on text and image tokens; its paper reports a 250-million image-text-pair dataset. Such models sample tokens sequentially. MaskGIT uses a different masked-token iterative decoding approach to predict multiple tokens in parallel.
PixelCNN and PixelRNN model image pixels autoregressively in their published image-generation studies.
The original DALL·E paper tokenizes images with a discrete variational autoencoder before sequence modeling.
A causal attention mask prevents a Transformer decoder from using future image tokens during autoregressive prediction.
MaskGIT is a separate masked-token method that iteratively predicts many image tokens in parallel.
Compare autoregressive and parallel masked-image methods using matched image quality, compute and sampling conditions. Evaluate prompt alignment and artifacts on the intended domain. The cited papers establish their own architectures and experiments, not a universal winner or future deployment trend.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Autoregressive image models generate a sequence of visual tokens one at a time, conditioning each next token on earlier tokens and any text prompt. This sequential procedure differs from masked parallel decoding.
I modelli autoregressivi fattorizzano l'immagine come una sequenza, prevedendo ciascun token o pixel in base a tutti gli elementi generati prima di esso.
I sistemi moderni comprimono l'immagine in token discreti (spesso tramite un codificatore in stile VQ-VAE), quindi prevedono la sequenza di token con un trasformatore.
PixelRNN e PixelCNN sono stati modelli pionieristici autoregressivi che scansionavano e prevedevano le immagini pixel per pixel.
Il mascheramento causale impedisce a ciascuna posizione di partecipare ai token futuri, imponendo la fattorizzazione da sinistra a destra.
Poiché ogni token dipende dai precedenti, l'inferenza deve essere eseguita token per token, rendendo la generazione relativamente lenta.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Generazione di immagini in video
IA visiva