LegközelebbKövetkező útmutató
Képről videóra generálás
Vizuális AI
Vizuális MI ÚTMUTATÓ
Autoregressive image models generate a sequence of visual tokens one at a time, conditioning each next token on earlier tokens and any text prompt.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
This sequential procedure differs from masked parallel decoding.
PixelRNN/PixelCNN model conditional distributions over pixels in an ordered raster sequence. The original DALL·E work instead uses a discrete VAE to represent images as tokens and trains an autoregressive Transformer on text and image tokens; its paper reports a 250-million image-text-pair dataset. Such models sample tokens sequentially. MaskGIT uses a different masked-token iterative decoding approach to predict multiple tokens in parallel.
PixelCNN and PixelRNN model image pixels autoregressively in their published image-generation studies.
The original DALL·E paper tokenizes images with a discrete variational autoencoder before sequence modeling.
A causal attention mask prevents a Transformer decoder from using future image tokens during autoregressive prediction.
MaskGIT is a separate masked-token method that iteratively predicts many image tokens in parallel.
Compare autoregressive and parallel masked-image methods using matched image quality, compute and sampling conditions. Evaluate prompt alignment and artifacts on the intended domain. The cited papers establish their own architectures and experiments, not a universal winner or future deployment trend.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Autoregressive image models generate a sequence of visual tokens one at a time, conditioning each next token on earlier tokens and any text prompt. This sequential procedure differs from masked parallel decoding.
Az autoregresszív modellek sorozatként faktorizálják a képet, és minden tokent vagy pixelt megjósolnak az előtte generált összes elem alapján.
A modern rendszerek diszkrét tokenekbe tömörítik a képet (gyakran VQ-VAE-stílusú kódolón keresztül), majd egy Transformerrel megjósolják ezt a tokenszekvenciát.
A PixelRNN és a PixelCNN úttörő autoregresszív modellek voltak, amelyek pixelről pixelre szkennelték és előre jelezték a képeket.
Az ok-okozati maszkolás blokkolja az egyes pozíciókat a jövőbeni tokenek felügyeletétől, kényszerítve a balról jobbra irányú faktorizálást.
Mivel minden token az előzőektől függ, a következtetésnek tokenről tokenre kell futnia, így a generálás viszonylag lassú.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Képről videóra generálás
Vizuális AI