Quiz collegato alla guida · Medio Livello
Quiz sull'attenzione incrociata
Comprendere come l'attenzione incrociata consente a una sequenza o modalità di interrogare le rappresentazioni di un'altra sequenza o modalità nei modelli di trasformazione.
Domanda 1 di 8
Qual è la differenza fondamentale tra auto-attenzione e attenzione incrociata?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è la differenza fondamentale tra auto-attenzione e attenzione incrociata?
- Nell'attenzione incrociata, le query provengono da una sequenza e le chiavi/valori da un'altra
- L'attenzione incrociata non utilizza softmax
- L’autoattenzione funziona solo sulle immagini
- L’attenzione incrociata non può essere allenata con la discesa del gradiente
- In un Transformer codificatore-decodificatore, da dove provengono le domande per l'attenzione incrociata?
- Le uscite dell'encoder
- Lo stato attuale del decoder
- Solo gli incorporamenti di input non elaborati
- Una matrice casuale separata
- Perché le due sequenze in attenzione incrociata possono avere durate o modalità diverse?
- Perché l'attenzione richiede input di uguale lunghezza
- Perché ignora completamente una delle sequenze
- Perché le query e le chiavi provengono da fonti diverse e indipendenti
- Perché prima riempie tutto a una dimensione fissa
- In che modo la Diffusione Stabile utilizza l'attenzione incrociata?
- Per comprimere le immagini in file più piccoli
- Per tradurre il testo tra le lingue
- Per rimuovere il rumore dall'audio
- Per condizionare le regioni dell'immagine generata nel messaggio di testo
- Quale operazione matematica condivide l'attenzione incrociata con l'attenzione al sé?
- Attenzione al prodotto scalare con un softmax
- Convoluzione sui pixel
- Aggiornamenti ricorrenti dello stato
- Tabelle di ricerca hardcoded
- What gate does Flamingo use to control information flow through its cross-attention layers?
- A hard threshold initialized to one
- A tanh gate initialized to zero
- A fixed residual weight of 0.5
- A learned vocabulary lookup table
- What input sequence structure does Flamingo’s paper say its visual-language model can handle?
- Only one image followed by a fixed-length label
- Only text tokens with no visual inputs
- Visual and textual data interleaved in arbitrary sequences
- Only video frames with no text
- What is one purpose of cross-attention in Flamingo’s visual-language architecture?
- It replaces all text tokens with pixels
- It prevents any information from passing between modalities
- It performs only image resizing
- It lets language-model layers incorporate visual features from image/video inputs