Quiz collegato alla guida · Difficile Livello

Quiz sui meccanismi di attenzione

Prova l'attenzione del valore-chiave della query, il ridimensionamento softmax, le teste parallele, il costo dell'attenzione densa, i calcoli del valore ponderato e il mascheramento causale per la generazione.

Percorsi guida correlatiMeccanismi di attenzione
Domanda 1 di 8

What does token attention combine when forming an output representation?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. What does token attention combine when forming an output representation?
    • Permanent copies of the entire conversation on disk
    • Value information from allowed positions using computed weights
    • Only manually chosen keywords with no learned scores
    • A translation dictionary that removes every other token
  2. Quale documento fondamentale del 2017 ha introdotto l'architettura del trasformatore?
    • "Apprendimento residuo profondo per il riconoscimento delle immagini"
    • "Giocare ad Atari con il Deep Reinforcement Learning"
    • "L'attenzione è tutto ciò di cui hai bisogno"
    • "Reti avversarie generative"
  3. Quali sono i tre vettori calcolati per ciascun token in attenzione?
    • Query, chiave e valore
    • Ingresso, uscita e bias
    • Media, mediana e moda
    • Codificatore, decodificatore e perdita
  4. Nella formula softmax(QK^T / √d_k) V, perché dividere per √d_k?
    • Per convertire il risultato in numeri interi
    • Per rimuovere i numeri negativi
    • Per far funzionare il modello su una GPU
    • Per evitare che i punteggi del prodotto scalare diventino troppo grandi prima di softmax
  5. Why does dense self-attention involve growing pairwise work for very long token sequences?
    • Perché deve scaricare nuovi dati da Internet
    • Perché il testo più lungo contiene sempre parole più rare
    • Poiché il costo cresce con il quadrato della lunghezza della sequenza (O(n²))
    • Perché passa a un linguaggio di programmazione più lento
  6. What capacity does multi-head attention provide through separate learned projections?
    • A guarantee that every head has one unique named meaning
    • Several attention representations that can capture different relationships in parallel
    • Removal of every token embedding
    • A reduction of vocabulary size by definition
  7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
    • Otto
    • Quattro
    • Due
    • Tre
  8. What does a causal attention mask prevent in an autoregressive text decoder?
    • Using later token positions when forming the current position's representation
    • Using any previous token
    • Computing any query or key vectors
    • Learning all model parameters