VolgendeVolgende gids
Latente blending en beeldinterpolatie
Visuele AI
Visuele AI-GIDS
VQ-VAE encodes inputs into discrete codebook indices and reconstructs them through a decoder.
Luister naar deze gidsAI-verteld · ~2 min
Learned discrete latents can provide compact token sequences for downstream generative models.
Neural Discrete Representation Learning introduces VQ-VAE, whose encoder outputs discrete codes rather than the continuous latent variables of a standard VAE, with a learned prior over codes. The straight-through estimator carries encoder gradients through quantization, and the objective includes codebook and commitment terms. VQGAN combines vector quantization with perceptual and adversarial training and studies image compression/synthesis. These are particular model designs, not a guarantee that discrete codes preserve all information.
An encoder maps an input to a continuous latent vector that is quantized to a codebook entry.
A decoder reconstructs the input from selected codebook vectors.
DALL·E used a discrete VAE image tokenizer before an autoregressive Transformer prior.
VQGAN adds perceptual and adversarial losses in a specific image-tokenization method.
Compare codebook utilization, reconstruction quality and downstream performance for the target data. Report the tokenizer, codebook and objective, since results depend on representation and training choices. The cited sources do not establish that discrete latents are always superior to continuous representations.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
VQ-VAE encodes inputs into discrete codebook indices and reconstructs them through a decoder. Learned discrete latents can provide compact token sequences for downstream generative models.
VQ-VAE vervangt continue latente codes door discrete codes die zijn ontleend aan een aangeleerd codeboek via vectorkwantisering.
De straight-through schatter kopieert de ingangsgradiënt van de decoder rechtstreeks naar de uitgang van de encoder, waarbij kwantisering wordt behandeld als identiteit voor de achterwaartse doorgang.
Het instorten van het codeboek vindt plaats wanneer het model slechts op een paar codes vertrouwt, waardoor het grootste deel van het codeboek wordt verspild en de diversiteit wordt geschaad.
Discrete indices vormen een eindige woordenschat, zodat reeksmodellen zoals Transformers hun distributie kunnen leren en bemonsteren, net als woorden.
VQGAN vergroot VQ-VAE met een discriminator en perceptueel verlies, wat scherpere, meer gedetailleerde gereconstrueerde tokens oplevert.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Latente blending en beeldinterpolatie
Visuele AI