Quiz collegato alla guida · Difficile Livello
Quiz sui meccanismi di attenzione
Prova l'attenzione del valore-chiave della query, il ridimensionamento softmax, le teste parallele, il costo dell'attenzione densa, i calcoli del valore ponderato e il mascheramento causale per la generazione.
Domanda 1 di 8
What does token attention combine when forming an output representation?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- What does token attention combine when forming an output representation?
- Permanent copies of the entire conversation on disk
- Value information from allowed positions using computed weights
- Only manually chosen keywords with no learned scores
- A translation dictionary that removes every other token
- Quale documento fondamentale del 2017 ha introdotto l'architettura del trasformatore?
- "Apprendimento residuo profondo per il riconoscimento delle immagini"
- "Giocare ad Atari con il Deep Reinforcement Learning"
- "L'attenzione è tutto ciò di cui hai bisogno"
- "Reti avversarie generative"
- Quali sono i tre vettori calcolati per ciascun token in attenzione?
- Query, chiave e valore
- Ingresso, uscita e bias
- Media, mediana e moda
- Codificatore, decodificatore e perdita
- Nella formula softmax(QK^T / √d_k) V, perché dividere per √d_k?
- Per convertire il risultato in numeri interi
- Per rimuovere i numeri negativi
- Per far funzionare il modello su una GPU
- Per evitare che i punteggi del prodotto scalare diventino troppo grandi prima di softmax
- Why does dense self-attention involve growing pairwise work for very long token sequences?
- Perché deve scaricare nuovi dati da Internet
- Perché il testo più lungo contiene sempre parole più rare
- Poiché il costo cresce con il quadrato della lunghezza della sequenza (O(n²))
- Perché passa a un linguaggio di programmazione più lento
- What capacity does multi-head attention provide through separate learned projections?
- A guarantee that every head has one unique named meaning
- Several attention representations that can capture different relationships in parallel
- Removal of every token embedding
- A reduction of vocabulary size by definition
- In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
- Otto
- Quattro
- Due
- Tre
- What does a causal attention mask prevent in an autoregressive text decoder?
- Using later token positions when forming the current position's representation
- Using any previous token
- Computing any query or key vectors
- Learning all model parameters