Quiz collegato alla guida · Medio Livello
Quiz sullo scaling del calcolo in fase di test
Esaminare il calcolo del tempo di inferenza, la ricerca dei candidati, l'allocazione adattiva e i compromessi costi-latenza misurati negli studi sui tempi di test.
Domanda 1 di 8
A cosa si riferisce il "calcolo del tempo di test"?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- A cosa si riferisce il "calcolo del tempo di test"?
- Calcolo impiegato per addestrare il modello sui dati
- Il tempo necessario per scaricare un modello
- Calcolo speso quando il modello risponde a una query durante l'inferenza
- L'elettricità utilizzata per raffreddare i data center
- In test-time scaling studies, what can extra inference compute be used for?
- Changing the model’s training data during the request
- Increasing the number of model parameters automatically
- Guaranteeing correctness without evaluation
- Searching or revising candidate solutions and checking their quality
- Qual è il compromesso principale del ridimensionamento del calcolo in fase di test?
- Maggiore precisione in cambio di maggiore latenza e costi
- Meno memoria ma allenamento più lento
- Più dati ma modelli più piccoli
- Grafica migliore per una risoluzione inferiore
- Cos'è il campionamento "best-of-N"?
- Formazione sugli N set di dati più grandi
- Generazione di N risposte candidate e selezione della migliore
- Utilizzando solo le prime N parole di un prompt
- Esecuzione del modello su N computer diversi per velocità
- Perché il calcolo del tempo di test è considerato un nuovo "asse di scala"?
- Sostituisce la necessità di qualsiasi formazione
- Funziona solo su modelli piccoli
- Migliora le prestazioni aggiungendo il calcolo dell'inferenza anziché limitarsi ad aumentare le dimensioni del modello
- Riduce il numero di utenti che un modello può servire
- Quale risultato sorprendente consente il calcolo del tempo di test?
- I modelli possono funzionare senza GPU
- I dati di allenamento diventano inutili
- I modelli rispondono sempre più velocemente
- Un modello più piccolo che pensa più a lungo può rivaleggiare con un modello molto più grande che risponde istantaneamente
- What is one reason a fixed best-of-N strategy may waste inference compute?
- It spends the same candidate budget on easy and difficult prompts
- It modifies model weights on every query
- It cannot generate multiple candidates
- It eliminates the need for scoring
- What did the test-time compute paper compare with best-of-N sampling?
- A strategy that disables inference
- A compute-optimal strategy that allocates effort based on expected solution quality
- A larger tokenizer vocabulary
- A method that changes image resolution