Test-Time Compute Scaling Test

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. La ce se referă „calcularea timpului de testare”?
   • Calcularea a petrecut antrenarea modelului pe date
   • Timpul necesar pentru a descărca un model
   • Calculul cheltuit atunci când modelul răspunde la o interogare la inferență
   • Electricitatea folosită pentru răcirea centrelor de date
2. In test-time scaling studies, what can extra inference compute be used for?
   • Changing the model’s training data during the request
   • Increasing the number of model parameters automatically
   • Guaranteeing correctness without evaluation
   • Searching or revising candidate solutions and checking their quality
3. Care este compromisul de bază al scalării de calcul în timpul testării?
   • Precizie mai mare în schimbul unei latențe și costuri mai mari
   • Mai puțină memorie, dar antrenament mai lent
   • Mai multe date, dar modele mai mici
   • Grafică mai bună pentru rezoluție mai mică
4. Ce este eșantionarea „cel mai bun din N”?
   • Antrenament pe cele mai mari N seturi de date
   • Generarea de N răspunsuri candidat și selectarea celui mai bun
   • Folosind numai primele N cuvinte ale unui prompt
   • Rularea modelului pe N computere diferite pentru viteză
5. De ce calculul timpului de testare este considerat o nouă „axă de scalare”?
   • Înlocuiește nevoia oricărui antrenament
   • Functioneaza doar pe modele mici
   • Îmbunătățește performanța prin adăugarea calculului prin inferență, mai degrabă decât prin creșterea dimensiunii modelului
   • Reduce numărul de utilizatori pe care un model poate servi
6. Ce rezultat surprinzător permite calcularea timpului de testare?
   • Modelele pot rula fără GPU
   • Datele de antrenament devin inutile
   • Modelele răspund întotdeauna mai repede
   • Un model mai mic care gândește mai mult poate rivaliza cu un model mult mai mare care răspunde instantaneu
7. What is one reason a fixed best-of-N strategy may waste inference compute?
   • It spends the same candidate budget on easy and difficult prompts
   • It modifies model weights on every query
   • It cannot generate multiple candidates
   • It eliminates the need for scoring
8. What did the test-time compute paper compare with best-of-N sampling?
   • A strategy that disables inference
   • A compute-optimal strategy that allocates effort based on expected solution quality
   • A larger tokenizer vocabulary
   • A method that changes image resolution