Quiz collegato alla guida · Medio Livello

Quiz sui trasformatori di diffusione

Esplora i token patch DiT, il condizionamento, il ridimensionamento, le rappresentazioni spazio-temporali video e il costo dell'attenzione di molti token.

Percorsi guida correlatiTrasformatori di diffusione
Domanda 1 di 8

Quale componente sostituisce un Trasformatore di Diffusione rispetto ai tradizionali modelli di diffusione?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale componente sostituisce un Trasformatore di Diffusione rispetto ai tradizionali modelli di diffusione?
    • Il denoiser convoluzionale di U-Net
    • Il codificatore di testo
    • Il decodificatore di immagini
    • Il programma del rumore
  2. In che modo un DiT trasforma un'immagine in qualcosa che un Transformer può elaborare?
    • Converte i pixel direttamente in parole
    • Suddivide l'immagine latente in patch trattate come token
    • Utilizza un token per l'intera immagine
    • Converte prima l'immagine in audio
  3. Cosa ha scoperto il documento DiT originale riguardo al ridimensionamento?
    • Le prestazioni si stabilizzano rapidamente con le dimensioni
    • I modelli più grandi hanno sempre prestazioni peggiori
    • Le prestazioni migliorano in modo prevedibile man mano che le dimensioni del modello aumentano e le dimensioni delle patch si riducono
    • La dimensione della patch non ha alcun effetto
  4. In che modo i DiT in genere inseriscono condizionamenti come il timestep e il messaggio di testo?
    • Aggiungendolo come pixel extra
    • Riqualificando il modello ad ogni passaggio
    • Tramite un ramo convoluzionale separato
    • Attraverso la normalizzazione del livello adattivo (adaLN)
  5. Cosa comporta l'inizializzazione "adaLN-zero"?
    • Fa sì che ogni blocco Transformer inizi come una funzione di identità per un addestramento stabile
    • Elimina i livelli di normalizzazione
    • Congela l'intero modello
    • Azzera l'immagine di input
  6. Quale noto sistema utilizza un backbone Transformer su patch spaziotemporali per la generazione video?
    • Un GAN tradizionale
    • OpenAI Sora
    • Una rete neurale ricorrente
    • Un modello di albero decisionale
  7. Why can full self-attention become costly when a DiT processes many patches?
    • Its cost stays constant for any token count
    • It must retrain the U-Net at each denoising step
    • Its pairwise token comparisons grow quadratically with the number of tokens
    • It requires a separate language model for every patch
  8. After a DiT processes latent image patches with its Transformer blocks, what happens to the patch outputs?
    • As one text token for an entire video
    • As only a sequence of audio waveforms
    • As a separate convolutional U-Net for each frame
    • They are reassembled and decoded back into pixels