Cuestionario vinculado a una guía · duro Nivel

Cuestionario sobre mecanismos de atención

Pruebe la atención de valor clave de consulta, escalado softmax, cabezas paralelas, costo de atención densa, cálculos de valor ponderado y enmascaramiento causal para la generación.

Rutas de guía relacionadasMecanismos de atención
Pregunta 1 de 8

What does token attention combine when forming an output representation?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. What does token attention combine when forming an output representation?
    • Permanent copies of the entire conversation on disk
    • Value information from allowed positions using computed weights
    • Only manually chosen keywords with no learned scores
    • A translation dictionary that removes every other token
  2. ¿Qué documento histórico de 2017 presentó la arquitectura del transformador?
    • 'Aprendizaje residual profundo para el reconocimiento de imágenes'
    • 'Jugar a Atari con aprendizaje por refuerzo profundo'
    • 'Atención es todo lo que necesitas'
    • 'Redes generativas de confrontación'
  3. ¿Cuáles son los tres vectores calculados para cada token en atención?
    • Consulta, clave y valor
    • Entrada, salida y sesgo
    • Media, mediana y moda
    • Codificador, decodificador y pérdida.
  4. En la fórmula softmax(QK^T / √d_k) V, ¿por qué dividir por √d_k?
    • Para convertir el resultado a números enteros
    • Para eliminar números negativos
    • Para hacer que el modelo se ejecute en una GPU
    • Para evitar que las puntuaciones de los productos escalables se vuelvan demasiado grandes antes de softmax
  5. Why does dense self-attention involve growing pairwise work for very long token sequences?
    • Porque debe descargar nuevos datos de Internet.
    • Porque los textos más largos siempre contienen palabras más raras
    • Porque el costo crece con el cuadrado de la longitud de la secuencia (O(n²))
    • Porque cambia a un lenguaje de programación más lento.
  6. What capacity does multi-head attention provide through separate learned projections?
    • A guarantee that every head has one unique named meaning
    • Several attention representations that can capture different relationships in parallel
    • Removal of every token embedding
    • A reduction of vocabulary size by definition
  7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
    • Ocho
    • cuatro
    • dos
    • tres
  8. What does a causal attention mask prevent in an autoregressive text decoder?
    • Using later token positions when forming the current position's representation
    • Using any previous token
    • Computing any query or key vectors
    • Learning all model parameters