Cuestionario vinculado a una guía · Medio Nivel

Prueba de sesgo de posición de ALiBi

Compruebe cómo ALiBi agrega sesgos de atención basados ​​en la distancia y admite secuencias de inferencia más largas sin tablas de posición absoluta aprendidas.

Rutas de guía relacionadasSesgo de posición de coartada
Pregunta 1 de 8

¿Qué significa ALiBi?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué significa ALiBi?
    • Atención con sesgos lineales
    • Sesgo lineal adaptativo
    • Codificación bidireccional alineada
    • Indexación lineal absoluta
  2. ¿Cómo penaliza ALiBi los tokens distantes?
    • Poniendo a cero las incrustaciones más allá de una ventana fija
    • Añadiendo una penalización proporcional a la distancia entre la consulta y las posiciones clave
    • Al aprender una incrustación separada para cada posición
    • Rotando la consulta y los vectores clave.
  3. ¿Cuál es la ventaja práctica más famosa de ALiBi?
    • Elimina la necesidad de un softmax
    • Hace que la atención funcione en la memoria constante.
    • Se extrapola bien a secuencias más largas que las vistas en el entrenamiento.
    • Elimina la necesidad de múltiples cabezas de atención.
  4. ¿Qué tiene de diferente el sesgo lineal entre las cabezas de atención?
    • Cada cabeza comparte exactamente la misma pendiente.
    • Las pistas se aprenden durante el entrenamiento.
    • Sólo la primera cabeza recibe un sesgo.
    • Cada cabeza tiene su propia pendiente fija, formando una secuencia geométrica.
  5. En comparación con las incrustaciones posicionales tradicionales, ¿ALiBi agrega cuántos parámetros aprendidos?
    • Ninguno: las pendientes de sesgo son fijas, no aprendidas
    • Uno por puesto
    • Uno por ficha
    • Dos por cabeza de atención
  6. ¿Qué modelo grande conocido utilizó ALiBi para obtener información de posición?
    • GPT-2
    • FLORAR
    • BERT
    • Palabra2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position