DalšíDalší průvodce
Latentní prolínání a obrazová interpolace
Vizuální AI
Vizuální průvodce AI
VQ-VAE encodes inputs into discrete codebook indices and reconstructs them through a decoder.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Learned discrete latents can provide compact token sequences for downstream generative models.
Neural Discrete Representation Learning introduces VQ-VAE, whose encoder outputs discrete codes rather than the continuous latent variables of a standard VAE, with a learned prior over codes. The straight-through estimator carries encoder gradients through quantization, and the objective includes codebook and commitment terms. VQGAN combines vector quantization with perceptual and adversarial training and studies image compression/synthesis. These are particular model designs, not a guarantee that discrete codes preserve all information.
An encoder maps an input to a continuous latent vector that is quantized to a codebook entry.
A decoder reconstructs the input from selected codebook vectors.
DALL·E used a discrete VAE image tokenizer before an autoregressive Transformer prior.
VQGAN adds perceptual and adversarial losses in a specific image-tokenization method.
Compare codebook utilization, reconstruction quality and downstream performance for the target data. Report the tokenizer, codebook and objective, since results depend on representation and training choices. The cited sources do not establish that discrete latents are always superior to continuous representations.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
VQ-VAE encodes inputs into discrete codebook indices and reconstructs them through a decoder. Learned discrete latents can provide compact token sequences for downstream generative models.
VQ-VAE nahrazuje nepřetržité latentní obrazy diskrétními kódy čerpanými z naučené kódové knihy pomocí vektorové kvantizace.
Přímý estimátor kopíruje gradient vstupu dekodéru přímo do výstupu kodéru, přičemž kvantování považuje za identitu zpětného průchodu.
Zhroucení kódové knihy nastane, když se model spoléhá pouze na několik kódů, čímž vyplýtvá většinu kódové knihy a poškozuje rozmanitost.
Diskrétní indexy tvoří omezenou slovní zásobu, takže sekvenční modely, jako jsou Transformers, se mohou učit a vzorkovat jejich distribuci stejně jako slova.
VQGAN rozšiřuje VQ-VAE o diskriminátor a ztrátu vnímání, což přináší ostřejší, detailnější rekonstruované tokeny.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Latentní prolínání a obrazová interpolace
Vizuální AI