Quiz collegato alla guida · Difficile Livello
Quiz sull'attenzione lineare e sui kernel dell'esecutore
Controlla il costo della sequenza dell'attenzione di softmax, il riarrangiamento associativo, l'approssimazione del kernel FAVOR+, le caratteristiche casuali e la complessità lineare.
Domanda 1 di 8
Perché l'attenzione softmax standard si adatta male alla lunghezza della sequenza?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Perché l'attenzione softmax standard si adatta male alla lunghezza della sequenza?
- Il suo tempo e la sua memoria crescono con il quadrato della lunghezza della sequenza
- Richiede l'ordinamento alfabetico di tutti i token
- Può elaborare solo un token alla volta
- Ha bisogno di una rete neurale separata per token
- Quale proprietà matematica consente all'attenzione lineare di evitare la matrice n per n?
- Commutatività dell'addizione
- Associatività della moltiplicazione di matrici
- La legge distributiva di softmax
- Scomposizione degli autovalori
- Cosa si avvicina al meccanismo FAVOR+ di Performer?
- Aggiornamenti sulla discesa del gradiente
- Il vocabolario del tokenizzatore
- Il nucleo di attenzione di Softmax
- Statistiche di normalizzazione dei livelli
- Perché Performer utilizza caratteristiche casuali positive anziché quelle trigonometriche precedenti?
- Funzionano più velocemente solo sulle CPU
- Eliminano la necessità di qualsiasi casualità
- Rendono il modello pienamente interpretabile
- Garantiscono pesi di attenzione non negativi e migliorano la stabilità numerica
- Qual è la complessità approssimativa dell'attenzione lineare in stile Performer nella lunghezza della sequenza n?
- O(n)
- O(n^2)
- O(n log n)
- O(2^n)
- Qual è una limitazione comune dell'attenzione lineare pura rispetto all'attenzione softmax completa?
- Non può essere eseguito su GPU
- Spesso si ottiene una qualità di modellazione leggermente inferiore
- Funziona solo per le immagini
- Richiede dati etichettati per ogni token
- For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
- Compute QK^T and store every pairwise score
- Apply softmax to the full n-by-n matrix first
- Compute phi(K)^T V before multiplying by phi(Q)
- Multiply the final output by the sequence length
- What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
- It guarantees exact softmax for every sequence
- It removes the need for query and key vectors
- It makes attention quadratic in sequence length
- It reduces variance in the random-feature estimate