Quiz collegato alla guida · Medio Livello

Quiz sull'attenzione incrociata

Comprendere come l'attenzione incrociata consente a una sequenza o modalità di interrogare le rappresentazioni di un'altra sequenza o modalità nei modelli di trasformazione.

Percorsi guida correlatiAttenzione incrociata
Domanda 1 di 8

Qual è la differenza fondamentale tra auto-attenzione e attenzione incrociata?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è la differenza fondamentale tra auto-attenzione e attenzione incrociata?
    • Nell'attenzione incrociata, le query provengono da una sequenza e le chiavi/valori da un'altra
    • L'attenzione incrociata non utilizza softmax
    • L’autoattenzione funziona solo sulle immagini
    • L’attenzione incrociata non può essere allenata con la discesa del gradiente
  2. In un Transformer codificatore-decodificatore, da dove provengono le domande per l'attenzione incrociata?
    • Le uscite dell'encoder
    • Lo stato attuale del decoder
    • Solo gli incorporamenti di input non elaborati
    • Una matrice casuale separata
  3. Perché le due sequenze in attenzione incrociata possono avere durate o modalità diverse?
    • Perché l'attenzione richiede input di uguale lunghezza
    • Perché ignora completamente una delle sequenze
    • Perché le query e le chiavi provengono da fonti diverse e indipendenti
    • Perché prima riempie tutto a una dimensione fissa
  4. In che modo la Diffusione Stabile utilizza l'attenzione incrociata?
    • Per comprimere le immagini in file più piccoli
    • Per tradurre il testo tra le lingue
    • Per rimuovere il rumore dall'audio
    • Per condizionare le regioni dell'immagine generata nel messaggio di testo
  5. Quale operazione matematica condivide l'attenzione incrociata con l'attenzione al sé?
    • Attenzione al prodotto scalare con un softmax
    • Convoluzione sui pixel
    • Aggiornamenti ricorrenti dello stato
    • Tabelle di ricerca hardcoded
  6. What gate does Flamingo use to control information flow through its cross-attention layers?
    • A hard threshold initialized to one
    • A tanh gate initialized to zero
    • A fixed residual weight of 0.5
    • A learned vocabulary lookup table
  7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
    • Only one image followed by a fixed-length label
    • Only text tokens with no visual inputs
    • Visual and textual data interleaved in arbitrary sequences
    • Only video frames with no text
  8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
    • It replaces all text tokens with pixels
    • It prevents any information from passing between modalities
    • It performs only image resizing
    • It lets language-model layers incorporate visual features from image/video inputs