Visuele AI-GIDS
VQGAN en codeboekbeeldsynthese
VQGAN is een neuraal netwerk dat een afbeelding comprimeert tot een klein raster van gegevens uit een aangeleerd codeboek, een woordenboek van herbruikbare visuele delen, en dat raster weer decodeert tot een scherp beeld.
Luister naar deze gidsAI-verteld · ~9 min
Op deze pagina10 minuten lezen
Overzicht
Het werd geïntroduceerd in 2020 en maakte het genereren van transformatorbeelden praktisch met hoge resolutie en het tokenizer-idee ligt nog steeds ten grondslag aan veel tekst-naar-afbeelding- en multimodale modellen.
Belangrijkste inzichten
- VQGAN verandert een afbeelding in een klein raster van indices uit een aangeleerd codeboek, zodat het genereren van afbeeldingen een tokenvoorspellingsprobleem wordt.
- Het Taming Transformers-artikel uit 2020 van Esser, Rombach en Ommer introduceerde VQGAN met een standaard tokenraster van 16 bij 16 voor 256 bij 256 afbeeldingen.
- Perceptuele en vijandige verliezen zorgen ervoor dat VQGAN veel harder comprimeert dan VQ-VAE, terwijl de reconstructies scherp blijven.
- VQGAN-CLIP, MaskGIT, ViT-VQGAN en Parti bouwden tussen 2021 en 2022 allemaal rechtstreeks voort op het VQGAN-tokenizer-idee.
- Het instorten van het codeboek, langzame sequentiële bemonstering en verlies van fijne details zijn de belangrijkste bekende zwakke punten van de synthese van codeboekbeelden.
Diepe duik
VQGAN, short for Vector Quantized Generative Adversarial Network, is an image autoencoder with a twist. An autoencoder is a pair of networks: an encoder that squeezes an image into a compact representation and a decoder that rebuilds the image from it. In VQGAN the compact representation is not a grid of arbitrary numbers but a grid of indices into a codebook, a learned table of vectors that act like a vocabulary of visual parts such as a patch of fur, a stretch of sky or the corner of a window. Once an image is a grid of codebook indices, it looks like a sentence made of tokens, and any model that is good at predicting the next token in text can be trained to generate images.
The method was introduced by Patrick Esser, Robin Rombach and Bjorn Ommer of Heidelberg University in the paper Taming Transformers for High-Resolution Image Synthesis, first posted to arXiv on 17 December 2020 and revised in June 2021. Their motivation was cost. Transformers, the attention-based networks behind modern language models, compare every element of a sequence with every other element, so the cost grows with the square of the sequence length. A 256 by 256 image has 65,536 pixels, far too many to treat as a sequence. Convolutional neural networks, which process images with small sliding filters, are efficient at local texture but weaker at long-range structure. The paper's answer was to let a convolutional VQGAN learn the vocabulary of local parts and let a transformer learn how those parts are arranged.
The mechanism works in two stages. In stage one, the encoder downsamples the image by a factor f; the paper's default is f = 16, so a 256 by 256 image becomes a 16 by 16 grid of feature vectors. Each vector is replaced by its nearest neighbor in the codebook, a step called vector quantization. The default codebook holds 1,024 entries, with larger codebooks of 4,096 to 16,384 entries used for some datasets. The decoder then reconstructs the image from the quantized grid. Because choosing the nearest entry is not differentiable, gradients are copied straight through the quantizer during training, a trick called the straight-through estimator. In stage two, the encoder and codebook are frozen, every training image is converted to its 256 indices, and a transformer is trained to predict each index from the ones before it. To generate, the transformer samples indices one by one and the decoder turns the finished grid into pixels.
What separates VQGAN from its predecessor is the training loss. VQ-VAE, introduced by Aaron van den Oord, Oriol Vinyals and Koray Kavukcuoglu at DeepMind in November 2017, established the codebook idea and showed that discrete latents avoid posterior collapse, a failure where a powerful decoder learns to ignore the latent code. But VQ-VAE was trained mainly to reproduce pixels, which pushes reconstructions toward blur when the code is heavily compressed. VQGAN adds two terms. A perceptual loss compares images in the feature space of a pretrained network rather than pixel by pixel, and a patch-based discriminator, the adversarial half of a generative adversarial network (GAN), penalizes local patches that look fake. The weight on the adversarial term is set automatically from the ratio of gradient sizes at the decoder's last layer. The result is that VQGAN can compress much harder while staying sharp. The paper reports that its ImageNet VQGAN with 16,384 codes on a 16 by 16 grid reaches a reconstruction FID of 4.98, against 32.01 for the DALL-E tokenizer with 8,192 codes on a 32 by 32 grid, while using a sequence one quarter as long. FID, or Frechet Inception Distance, measures how far the statistics of generated images are from real ones; lower is better.
The generation results were strong for their time. With a GPT-2-medium-sized transformer of about 307 million parameters, the paper reports FIDs of 9.6 on the FFHQ face dataset and 10.2 on CelebA-HQ. On class-conditional ImageNet at 256 by 256 pixels it reports an FID near 16 without rejection sampling and 5.20 with it, compared with about 31 for VQ-VAE-2 without rejection, using roughly a tenth of VQ-VAE-2's estimated parameter count. For images larger than the training size, the transformer attends only to a sliding window of nearby tokens, which allowed the authors to produce megapixel images guided by segmentation or depth maps.
VQGAN quickly became a building block. The VQGAN-CLIP method, written up by Katherine Crowson, Stella Biderman and colleagues for ECCV 2022, paired a pretrained VQGAN with OpenAI's CLIP model and optimized the latent grid until CLIP judged the decoded image to match a text prompt, with no task-specific training. Google's ViT-VQGAN (October 2021) replaced the convolutional encoder and decoder with Vision Transformers and improved codebook learning, raising Inception Score on ImageNet from 70.6 for vanilla VQGAN to 175.1 and lowering FID from 17.04 to 4.17. MaskGIT (February 2022) kept VQ tokens but generated them in parallel by iteratively filling in masked positions. Parti (June 2022) scaled an autoregressive Transformer on ViT-VQGAN tokens to 20 billion parameters. The same Heidelberg group's Latent Diffusion paper (December 2021) reused the idea of working in the compressed space of a pretrained autoencoder, but ran a diffusion model there instead of a token predictor.
Compared with alternatives, codebook synthesis has clear trade-offs. Against pixel-space GANs, it separates compression from generation, so the generator can be a large, stable, likelihood-trained transformer rather than an adversarial network that is prone to training collapse. Against pixel-space diffusion, it is far cheaper because the model works on a few hundred tokens rather than tens of thousands of pixels. Against latent diffusion with continuous latents, discrete tokens fit naturally into the same sequence as text tokens, which is why tokenizers of this family appear in models that mix text and images. The cost is that quantization throws information away, so fine detail such as small text or faces in a crowd can be lost before generation even begins.
The main failure modes are well documented. Codebook collapse, where only a small fraction of entries is ever selected, wastes capacity; the Taming Transformers authors note that their ImageNet model effectively used 973 of its 16,384 entries. Autoregressive sampling is slow because a 256-token image needs 256 sequential steps, which motivated MaskGIT's parallel decoding. Raster-order generation, row by row, can produce inconsistent global layouts, and outputs depend heavily on sampling settings such as top-k. Finally, a 16-fold downsampling limits how much detail any downstream model can express.
In practice the requirements are modest by current standards. The paper reports that most of its transformers were sized to train with batch size 2 on a 12 GB GPU, typically using two to four GPUs, and that an updated ImageNet model trained for 45.8 days on a single A100. Training a new VQGAN still needs a large image dataset matched to the target domain, careful tuning of the adversarial weight and a warm-up period before the discriminator switches on. The authors released code and pretrained models, so encoding and decoding with an existing VQGAN needs far less compute than training one.
04Uitgewerkt voorbeeld
Traceer één afbeelding via een VQGAN-pijplijn
Begin met een RGB-foto van 256 bij 256, die 65.536 pixelposities bevat.
Voer het door de encoder met downsamplingfactor 16 om een raster van 16 bij 16 van 256 featurevectoren te krijgen.
Zoek voor elke vector de dichtstbijzijnde van de 1.024 codeboekvermeldingen en noteer de index ervan, wat 256 gehele getallen tussen 0 en 1.023 oplevert.
Voer de 256 indices naar de decoder en vergelijk het opnieuw opgebouwde beeld met het origineel met het oog en met een perceptuele metriek.
Maskeer de onderste helft van het raster en laat een getrainde transformator vervolgens de ontbrekende 128 indices één voor één bemonsteren met behulp van top-k-sampling.
Decodeer het voltooide raster en merk op hoe de nieuwe onderste helft de texturen en lay-out van de bovenste helft voortzet.
Wat het laat zien
De leerling eindigt met een afbeelding waarvan de bovenste helft de invoer reconstrueert en waarvan de onderste helft wordt gegenereerd. Een scherpe reconstructie bevestigt dat het codeboek het beeld goed vastlegt, en een coherente voltooiing bevestigt dat de transformator heeft geleerd hoe de onderdelen van het codeboek in elkaar passen.
Implementatie in de echte wereld
Het originele Taming Transformers-papier gebruikte een VQGAN plus een GPT-2-stijl transformator om megapixellandschappen te genereren uit semantische segmentatiekaarten, waarbij het beeld stukje voor stukje werd geschilderd met een verschuivend aandachtsvenster.
VQGAN-CLIP, uitgegeven door Katherine Crowson en collega's en geaccepteerd op ECCV 2022, bestuurt een vooraf getrainde VQGAN met het CLIP-tekst-beeldmodel om afbeeldingen te maken en te bewerken op basis van vrije-tekstprompts zonder enige extra training.
Google's MaskGIT (2022) voorspelt gemaskeerde VQ-beeldtokens parallel in plaats van één voor één, wat volgens de auteurs de decodering tot 64 keer versnelt vergeleken met autoregressieve generatie.
Het Parti tekst-naar-beeldmodel (2022) van Google gebruikte de verbeterde ViT-VQGAN-tokenizer en een Transformer met maximaal 20 miljard parameters, en rapporteerde een zero-shot FID van 7,23 op MS-COCO.
Klasse-voorwaardelijke ImageNet-generatie in het Taming Transformers-artikel bereikte een FID van 5,20 bij 256 bij 256 pixels in combinatie met afwijzingssampling, destijds een sterke score voor een autoregressief model.
De toekomst van VQGAN en codeboekbeeldsynthese
Research since 2022 has focused on the tokenizer as the bottleneck. ViT-VQGAN (2021) showed that better codebook learning raises downstream image quality, and Finite Scalar Quantization (September 2023) argued that the learned codebook can be replaced with simple rounding while avoiding codebook collapse and the extra losses VQ needs. Parallel decoding methods such as MaskGIT (2022) addressed the speed of sequential sampling, and Parti (2022) showed autoregressive models on VQ tokens can scale to 20 billion parameters. Open questions remain about how much compression is too much: higher downsampling makes sequences shorter and cheaper but loses fine detail, and there is no settled rule for choosing the factor per domain. A second open question is whether discrete tokens or continuous latents are the better interface for models that handle text and images together, since latent diffusion (2021) showed that continuous latents also cut compute sharply, while discrete tokens slot directly into the same sequence as text. Evaluation also lags, because FID and Inception Score capture distribution statistics rather than prompt faithfulness or the legibility of small details.
Het in de praktijk brengen
Waarom het ertoe doet
- Snelheid en schaal. Visuele AI kan inspectie-, detectie- en taggingtaken op schaal automatiseren.
- Bouwkeuzes. Creatieve teams kunnen concepten sneller prototypen met minder handmatige revisies.
- Team en workflow. Bij bewerkingen kan gebruik worden gemaakt van beeld- en videosignalen die voorheen moeilijk te verwerken waren.
Pas op voor
- Beeldrechten en toestemming kunnen juridische risico's worden als de herkomst onduidelijk is.
- De prestaties van modellen kunnen variëren afhankelijk van de belichting, demografische gegevens en omgevingen.
- Valse positieve resultaten kunnen onopgemerkt blijven, tenzij de vertrouwensdrempels worden gecontroleerd.
Volgende stappen
- Definieer acceptatiecriteria voor precisie-, terugroep- en foutkosten.
- Test met gegevens die overeenkomen met echte productieomstandigheden.
- Voeg menselijke beoordeling toe voor voorspellingen met weinig vertrouwen of hoge impact.
- Volg modelafwijkingen en valideer opnieuw na wijzigingen in de camera of dataset.
Bronnen en verdere literatuur
- arXiv (Esser, Rombach, Ommer)Transformers temmen voor beeldsynthese met hoge resolutie
- arXiv (van den Oord, Vinyals, Kavukcuoglu)Neurale discrete representatie leren
- arXiv (Google Research)Vector-gekwantiseerde beeldmodellering met verbeterde VQGAN
- arXiv / ECCV 2022VQGAN-CLIP: Genereren en bewerken van open domeinafbeeldingen met natuurlijke taalbegeleiding
- arXiv (Google Research)MaskGIT: gemaskerde generatieve beeldtransformator
- arXiv (Google Research)Schaal van autoregressieve modellen voor het genereren van tekst-naar-afbeelding met rijke inhoud
- arXiv / CVPR 2022Beeldsynthese met hoge resolutie met latente diffusiemodellen
- arXiv (Google DeepMind)Eindige scalaire kwantisering: VQ-VAE eenvoudig gemaakt
Blijf verkennen
Gratis nieuwsbrief
Ontvang de dagelijkse AI-briefing
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Doe de VQGAN en Codebook Image Synthesis-quiz
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Veelgestelde vragen
Wat is VQGAN en Codebook Image Synthesis?
VQGAN is een neuraal netwerk dat een afbeelding comprimeert tot een klein raster van gegevens uit een aangeleerd codeboek, een woordenboek van herbruikbare visuele delen, en dat raster weer decodeert tot een scherp beeld. Het werd geïntroduceerd in 2020 en maakte het genereren van transformatorbeelden praktisch met hoge resolutie en het tokenizer-idee ligt nog steeds ten grondslag aan veel tekst-naar-afbeelding- en multimodale modellen.
Wat gebruikt VQGAN om een afbeelding weer te geven als discrete tokens?
VQGAN kwantiseert encoderfuncties naar de dichtstbijzijnde vermeldingen in een geleerd codeboek, waardoor het beeld wordt omgezet in een reeks discrete code-indexen.
Wat heeft het oorspronkelijke VQGAN-papier gerapporteerd over de voordelen van vijandige en perceptuele training?
Het oorspronkelijke artikel meldt dat vijandige en perceptuele verliezen hielpen de perceptuele kwaliteit te behouden bij verhoogde compressie in de geëvalueerde instellingen. Dit is geen universele bewering over elke VQVAE of elke token-rastergrootte.
Als een afbeelding eenmaal een reeks tokens is, welk model genereert dan nieuwe afbeeldingen?
Omdat afbeeldingen discrete tokenreeksen worden, kan een transformator ze autoregressief modelleren, net zoals bij het genereren van tekst.
Welke techniek laat gradiënten door de niet-differentieerbare kwantiseringsstap stromen?
Vectorkwantisering is niet-differentieerbaar, dus gebruikt VQGAN een straight-through gradiëntschatter om de encoder te trainen.
Welke beroemde AI-kunsttrend heeft VQGAN in 2021 helpen creëren?
Door VQGAN te combineren met CLIP-begeleiding ontstond de wijdverspreide 'VQGAN+CLIP'-kunst die het genereren van tekstgestuurde afbeeldingen populair maakte.
Blijf leren
Gerelateerde gidsen
Er zijn meer handleidingen voor dit onderwerp geselecteerd