Quiz sur la modélisation de contexte long

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. À quoi fait référence la « fenêtre contextuelle » d'un modèle ?
   • Le nombre maximum de jetons auxquels il peut s'occuper en un seul passage
   • La taille de l'écran de l'interface de chat
   • Le nombre d'utilisateurs autorisés à la fois
   • Combien de temps le modèle a été formé
2. Pourquoi l’auto-attention standard devient-elle coûteuse pour les entrées longues ?
   • Il pousse de manière linéaire et est toujours bon marché
   • Son calcul et sa mémoire augmentent quadratiquement avec la longueur de la séquence
   • Il ne peut pas lire plus d'un jeton
   • Cela ne fonctionne que sur les images
3. Quel est le problème des « perdus au milieu » ?
   • Les mannequins oublient complètement leur formation
   • Les modèles ne peuvent lire que le milieu d'un document
   • Les modèles rappellent mieux les informations au début et à la fin d'une longue entrée que les faits enfouis au milieu
   • Les modèles traduisent le milieu dans une autre langue
4. Qu’est-ce que FlashAttention améliore principalement ?
   • Cela permet au modèle de produire un texte plus long
   • Il ajoute automatiquement plus de données d'entraînement
   • Cela supprime le besoin de toute attention
   • Il réduit le goulot d'étranglement de la mémoire grâce à un calcul en mosaïque prenant en compte les E/S.
5. Quel rôle jouent les intégrations de positions rotatives (RoPE) dans les modèles à contexte long ?
   • Ils codent les positions des jetons et, avec interpolation, aident à généraliser à des séquences plus longues
   • Ils suppriment les jetons de l'entrée
   • Ils traduisent du texte entre les langues
   • Ils stockent les poids du modèle
6. What does prompt-cache research reuse across compatible requests?
   • The final answer regardless of the new query
   • Computed attention state for reusable prompt segments
   • A fixed set of token IDs without model computation
   • The model’s training data
7. What does the RULER benchmark add beyond locating one isolated “needle” fact?
   • Seule la classification des images
   • Audio transcription from waveforms
   • Tasks such as multi-hop tracing and aggregation over long contexts
   • GPU memory allocation benchmarks
8. Why test several task types when measuring a model’s effective context length?
   • Every task uses the same computation
   • The advertised window guarantees all tasks work
   • Task type never affects context use
   • A model may handle simple retrieval yet fail to combine or track information across a long input