Testzeit-Rechenskalierungsquiz

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

1. Worauf bezieht sich „Testzeitberechnung“?
   • Rechenaufwand für das Training des Modells anhand von Daten
   • Die Zeit, die zum Herunterladen eines Modells benötigt wird
   • Die Berechnung, die aufgewendet wird, wenn das Modell eine Abfrage bei der Inferenz beantwortet
   • Der Strom wird zur Kühlung von Rechenzentren verwendet
2. Wofür können in Studien zur Testzeitskalierung zusätzliche Inferenzberechnungen verwendet werden?
   • Changing the model’s training data during the request
   • Increasing the number of model parameters automatically
   • Guaranteeing correctness without evaluation
   • Searching or revising candidate solutions and checking their quality
3. Was ist der Hauptkompromiss bei der Rechenskalierung während der Testzeit?
   • Höhere Genauigkeit im Gegenzug für mehr Latenz und Kosten
   • Weniger Gedächtnis, aber langsameres Training
   • Mehr Daten, aber kleinere Modelle
   • Bessere Grafik für niedrigere Auflösung
4. Was ist „Best-of-N“-Sampling?
   • Training für die N größten Datensätze
   • N-Kandidatenantworten generieren und die beste auswählen
   • Verwenden Sie nur die ersten N Wörter einer Eingabeaufforderung
   • Aus Geschwindigkeitsgründen wird das Modell auf N verschiedenen Computern ausgeführt
5. Warum wird die Testzeitberechnung als neue „Skalierungsachse“ betrachtet?
   • Es ersetzt die Notwendigkeit einer Schulung
   • Es funktioniert nur bei kleinen Modellen
   • Es verbessert die Leistung, indem es Inferenzberechnungen hinzufügt, anstatt nur die Modellgröße zu vergrößern
   • Es reduziert die Anzahl der Benutzer, die ein Modell bedienen kann
6. Welches überraschende Ergebnis ermöglicht die Testzeitberechnung?
   • Modelle können ohne GPUs ausgeführt werden
   • Trainingsdaten werden überflüssig
   • Models antworten immer schneller
   • Ein kleineres Modell, das länger denkt, kann mit einem viel größeren Modell konkurrieren, das sofort antwortet
7. What is one reason a fixed best-of-N strategy may waste inference compute?
   • It spends the same candidate budget on easy and difficult prompts
   • It modifies model weights on every query
   • It cannot generate multiple candidates
   • It eliminates the need for scoring
8. What did the test-time compute paper compare with best-of-N sampling?
   • A strategy that disables inference
   • A compute-optimal strategy that allocates effort based on expected solution quality
   • A larger tokenizer vocabulary
   • A method that changes image resolution