Il prossimoProssima guida
Miscelazione latente e interpolazione delle immagini
IA visiva
GUIDA AI visiva
VQ-VAE encodes inputs into discrete codebook indices and reconstructs them through a decoder.
Ascolta questa guidaNarrato dall'IA · ~2 min
Learned discrete latents can provide compact token sequences for downstream generative models.
Neural Discrete Representation Learning introduces VQ-VAE, whose encoder outputs discrete codes rather than the continuous latent variables of a standard VAE, with a learned prior over codes. The straight-through estimator carries encoder gradients through quantization, and the objective includes codebook and commitment terms. VQGAN combines vector quantization with perceptual and adversarial training and studies image compression/synthesis. These are particular model designs, not a guarantee that discrete codes preserve all information.
An encoder maps an input to a continuous latent vector that is quantized to a codebook entry.
A decoder reconstructs the input from selected codebook vectors.
DALL·E used a discrete VAE image tokenizer before an autoregressive Transformer prior.
VQGAN adds perceptual and adversarial losses in a specific image-tokenization method.
Compare codebook utilization, reconstruction quality and downstream performance for the target data. Report the tokenizer, codebook and objective, since results depend on representation and training choices. The cited sources do not establish that discrete latents are always superior to continuous representations.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
VQ-VAE encodes inputs into discrete codebook indices and reconstructs them through a decoder. Learned discrete latents can provide compact token sequences for downstream generative models.
VQ-VAE sostituisce i latenti continui con codici discreti estratti da un libro di codici appreso tramite quantizzazione vettoriale.
Lo stimatore diretto copia il gradiente di ingresso del decodificatore direttamente sull'uscita del codificatore, trattando la quantizzazione come identità per il passaggio all'indietro.
Il collasso del codice si verifica quando il modello si basa solo su pochi codici, sprecando la maggior parte del codice e danneggiando la diversità.
Gli indici discreti formano un vocabolario finito, quindi i modelli di sequenza come Transformers possono apprendere e campionare la loro distribuzione proprio come le parole.
VQGAN aumenta VQ-VAE con un discriminatore e una perdita percettiva, producendo token ricostruiti più nitidi e dettagliati.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Miscelazione latente e interpolazione delle immagini
IA visiva