Quiz lié à un guide · Moyen Niveau

Quiz sur les biais de position ALiBi

Vérifiez comment ALiBi ajoute des biais d'attention basés sur la distance et prend en charge des séquences d'inférence plus longues sans avoir appris les tables de position absolue.

Chemins de guidage associésBiais de position d’alibi
Question 1 de 8

Que signifie ALiBi ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Que signifie ALiBi ?
    • Attention avec les biais linéaires
    • Biais linéaire adaptatif
    • Codage bidirectionnel aligné
    • Indexation linéaire absolue
  2. Comment ALiBi pénalise-t-il les tokens distants ?
    • En mettant à zéro les intégrations au-delà d'une fenêtre fixe
    • En ajoutant une pénalité proportionnelle à la distance entre la requête et les positions clés
    • En apprenant une intégration distincte pour chaque position
    • En faisant pivoter la requête et les vecteurs clés
  3. Quel est l’avantage pratique le plus célèbre d’ALiBi ?
    • Il élimine le besoin d'un softmax
    • Cela fait tourner l'attention dans une mémoire constante
    • Il s'extrapole bien à des séquences plus longues que celles vues en entraînement
    • Cela supprime le besoin de plusieurs têtes d’attention
  4. En quoi le biais linéaire entre les têtes d’attention est-il différent ?
    • Chaque tête partage exactement la même pente
    • Les pistes s'apprennent à l'entraînement
    • Seule la première tête reçoit un biais
    • Chaque tête a sa propre pente fixe, formant une séquence géométrique
  5. Par rapport aux intégrations positionnelles traditionnelles, ALiBi ajoute combien de paramètres appris ?
    • Aucun — les pentes de biais sont fixes et non apprises
    • Un par poste
    • Un par jeton
    • Deux par tête d'attention
  6. Quel grand modèle bien connu a utilisé ALiBi pour les informations de position ?
    • GPT-2
    • FLEUR
    • BERTE
    • Mot2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position