Quiz collegato alla guida · Difficile Livello

Quiz sull'attenzione lineare e sui kernel dell'esecutore

Controlla il costo della sequenza dell'attenzione di softmax, il riarrangiamento associativo, l'approssimazione del kernel FAVOR+, le caratteristiche casuali e la complessità lineare.

Domanda 1 di 8

Perché l'attenzione softmax standard si adatta male alla lunghezza della sequenza?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Perché l'attenzione softmax standard si adatta male alla lunghezza della sequenza?
    • Il suo tempo e la sua memoria crescono con il quadrato della lunghezza della sequenza
    • Richiede l'ordinamento alfabetico di tutti i token
    • Può elaborare solo un token alla volta
    • Ha bisogno di una rete neurale separata per token
  2. Quale proprietà matematica consente all'attenzione lineare di evitare la matrice n per n?
    • Commutatività dell'addizione
    • Associatività della moltiplicazione di matrici
    • La legge distributiva di softmax
    • Scomposizione degli autovalori
  3. Cosa si avvicina al meccanismo FAVOR+ di Performer?
    • Aggiornamenti sulla discesa del gradiente
    • Il vocabolario del tokenizzatore
    • Il nucleo di attenzione di Softmax
    • Statistiche di normalizzazione dei livelli
  4. Perché Performer utilizza caratteristiche casuali positive anziché quelle trigonometriche precedenti?
    • Funzionano più velocemente solo sulle CPU
    • Eliminano la necessità di qualsiasi casualità
    • Rendono il modello pienamente interpretabile
    • Garantiscono pesi di attenzione non negativi e migliorano la stabilità numerica
  5. Qual è la complessità approssimativa dell'attenzione lineare in stile Performer nella lunghezza della sequenza n?
    • O(n)
    • O(n^2)
    • O(n log n)
    • O(2^n)
  6. Qual è una limitazione comune dell'attenzione lineare pura rispetto all'attenzione softmax completa?
    • Non può essere eseguito su GPU
    • Spesso si ottiene una qualità di modellazione leggermente inferiore
    • Funziona solo per le immagini
    • Richiede dati etichettati per ogni token
  7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
    • Compute QK^T and store every pairwise score
    • Apply softmax to the full n-by-n matrix first
    • Compute phi(K)^T V before multiplying by phi(Q)
    • Multiply the final output by the sequence length
  8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
    • It guarantees exact softmax for every sequence
    • It removes the need for query and key vectors
    • It makes attention quadratic in sequence length
    • It reduces variance in the random-feature estimate