Quiz sur la mise à l'échelle du calcul au moment du test

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. À quoi fait référence le « calcul au moment du test » ?
   • Calcul dépensé pour entraîner le modèle sur les données
   • Le temps nécessaire pour télécharger un modèle
   • Calcul effectué lorsque le modèle répond à une requête lors de l'inférence
   • L'électricité utilisée pour refroidir les centres de données
2. In test-time scaling studies, what can extra inference compute be used for?
   • Changing the model’s training data during the request
   • Increasing the number of model parameters automatically
   • Guaranteeing correctness without evaluation
   • Searching or revising candidate solutions and checking their quality
3. Quel est le principal compromis de la mise à l’échelle du calcul au moment du test ?
   • Une plus grande précision en échange de plus de latence et de coûts
   • Moins de mémoire mais un entraînement plus lent
   • Plus de données mais des modèles plus petits
   • De meilleurs graphismes pour une résolution inférieure
4. Qu’est-ce que l’échantillonnage « best-of-N » ?
   • Formation sur les N plus grands ensembles de données
   • Générer N réponses candidates et sélectionner la meilleure
   • Utiliser uniquement les N premiers mots d'une invite
   • Exécuter le modèle sur N ordinateurs différents pour plus de vitesse
5. Pourquoi le calcul au moment du test est-il considéré comme un nouvel « axe de mise à l'échelle » ?
   • Il remplace le besoin de toute formation
   • Cela ne fonctionne que sur les petits modèles
   • Il améliore les performances en ajoutant un calcul d'inférence plutôt qu'en augmentant simplement la taille du modèle.
   • Cela réduit le nombre d’utilisateurs qu’un modèle peut servir
6. Quel résultat surprenant le calcul au moment du test permet-il ?
   • Les modèles peuvent fonctionner sans aucun GPU
   • Les données de formation deviennent inutiles
   • Les modèles répondent toujours plus vite
   • Un modèle plus petit qui réfléchit plus longtemps peut rivaliser avec un modèle beaucoup plus grand qui répond instantanément.
7. What is one reason a fixed best-of-N strategy may waste inference compute?
   • It spends the same candidate budget on easy and difficult prompts
   • It modifies model weights on every query
   • It cannot generate multiple candidates
   • It eliminates the need for scoring
8. What did the test-time compute paper compare with best-of-N sampling?
   • A strategy that disables inference
   • A compute-optimal strategy that allocates effort based on expected solution quality
   • A larger tokenizer vocabulary
   • A method that changes image resolution