Quiz collegato alla guida · Difficile Livello

Quiz sull'attenzione e sulla potatura della testa

Verifica come l'implementazione combina l'attenzione a più livelli con i percorsi residui, quali stime di potatura della testa e cosa possono e non possono spiegare questi punteggi.

Domanda 1 di 8

Qual è l’obiettivo del lancio dell’attenzione?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è l’obiettivo del lancio dell’attenzione?
    • Per tracciare il flusso di informazioni cumulativo dai token di input agli output attraverso i livelli
    • Per aggiungere più livelli a un Transformer
    • Per aumentare il tasso di apprendimento
    • Convertire l'attenzione in convoluzione
  2. Perché la mappa dell'attenzione di un singolo livello è spesso insufficiente per la spiegazione?
    • L'attenzione non viene mai calcolata
    • Le informazioni si mescolano su molti livelli e teste, quindi una mappa perde il percorso completo
    • Le mappe sono sempre uniformi
    • I trasformatori hanno una sola testa
  3. Cosa aggiunge il rollout dell'attenzione a ciascuna matrice di attenzione per tenere conto delle connessioni residue?
    • Un pregiudizio pari a zero
    • Un termine di rumore casuale
    • Un componente della matrice identità prima della normalizzazione
    • Un softmax in più
  4. Cosa ha rivelato la ricerca sull’attenzione multi-testa sulla ridondanza della testa?
    • Ogni testa è essenziale
    • Le teste non possono essere rimosse
    • La potatura raddoppia sempre la precisione
    • Molte teste possono essere potate con una minima perdita di precisione
  5. Come viene comunemente stimata l'importanza di una testa per la potatura?
    • Tramite la sensibilità basata sul gradiente della perdita di una maschera per la testa
    • Dalla sua posizione alfabetica
    • Contando solo i suoi parametri
    • A ora del giorno
  6. What different jobs do attention rollout and head pruning each do?
    • Sono tecniche identiche
    • Il rollout aiuta l'interpretazione mentre l'eliminazione sfrutta la ridondanza per comprimere i modelli
    • Entrambi aggiungono solo parametri
    • Nessuno dei due tocca l'attenzione
  7. In an attention-rollout calculation, why are residual paths included with layer attention?
    • To make every head have the same weight
    • To remove the value vectors from the Transformer
    • To approximate information that can pass along the identity path when layer transitions are composed
    • To prevent the attention matrix from being normalized
  8. How should an attention-rollout score be interpreted?
    • As proof that a token caused the output
    • As the exact value vector used at every layer
    • As a measure of how many heads the model contains
    • As a post-hoc approximation of relative token influence, not a causal explanation