Quiz collegato alla guida · Difficile Livello
Quiz sull'attenzione e sulla potatura della testa
Verifica come l'implementazione combina l'attenzione a più livelli con i percorsi residui, quali stime di potatura della testa e cosa possono e non possono spiegare questi punteggi.
Domanda 1 di 8
Qual è l’obiettivo del lancio dell’attenzione?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è l’obiettivo del lancio dell’attenzione?
- Per tracciare il flusso di informazioni cumulativo dai token di input agli output attraverso i livelli
- Per aggiungere più livelli a un Transformer
- Per aumentare il tasso di apprendimento
- Convertire l'attenzione in convoluzione
- Perché la mappa dell'attenzione di un singolo livello è spesso insufficiente per la spiegazione?
- L'attenzione non viene mai calcolata
- Le informazioni si mescolano su molti livelli e teste, quindi una mappa perde il percorso completo
- Le mappe sono sempre uniformi
- I trasformatori hanno una sola testa
- Cosa aggiunge il rollout dell'attenzione a ciascuna matrice di attenzione per tenere conto delle connessioni residue?
- Un pregiudizio pari a zero
- Un termine di rumore casuale
- Un componente della matrice identità prima della normalizzazione
- Un softmax in più
- Cosa ha rivelato la ricerca sull’attenzione multi-testa sulla ridondanza della testa?
- Ogni testa è essenziale
- Le teste non possono essere rimosse
- La potatura raddoppia sempre la precisione
- Molte teste possono essere potate con una minima perdita di precisione
- Come viene comunemente stimata l'importanza di una testa per la potatura?
- Tramite la sensibilità basata sul gradiente della perdita di una maschera per la testa
- Dalla sua posizione alfabetica
- Contando solo i suoi parametri
- A ora del giorno
- What different jobs do attention rollout and head pruning each do?
- Sono tecniche identiche
- Il rollout aiuta l'interpretazione mentre l'eliminazione sfrutta la ridondanza per comprimere i modelli
- Entrambi aggiungono solo parametri
- Nessuno dei due tocca l'attenzione
- In an attention-rollout calculation, why are residual paths included with layer attention?
- To make every head have the same weight
- To remove the value vectors from the Transformer
- To approximate information that can pass along the identity path when layer transitions are composed
- To prevent the attention matrix from being normalized
- How should an attention-rollout score be interpreted?
- As proof that a token caused the output
- As the exact value vector used at every layer
- As a measure of how many heads the model contains
- As a post-hoc approximation of relative token influence, not a causal explanation