Quiz collegato alla guida · Medio Livello

Quiz sullo scaling del calcolo in fase di test

Esaminare il calcolo del tempo di inferenza, la ricerca dei candidati, l'allocazione adattiva e i compromessi costi-latenza misurati negli studi sui tempi di test.

Domanda 1 di 8

A cosa si riferisce il "calcolo del tempo di test"?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. A cosa si riferisce il "calcolo del tempo di test"?
    • Calcolo impiegato per addestrare il modello sui dati
    • Il tempo necessario per scaricare un modello
    • Calcolo speso quando il modello risponde a una query durante l'inferenza
    • L'elettricità utilizzata per raffreddare i data center
  2. In test-time scaling studies, what can extra inference compute be used for?
    • Changing the model’s training data during the request
    • Increasing the number of model parameters automatically
    • Guaranteeing correctness without evaluation
    • Searching or revising candidate solutions and checking their quality
  3. Qual è il compromesso principale del ridimensionamento del calcolo in fase di test?
    • Maggiore precisione in cambio di maggiore latenza e costi
    • Meno memoria ma allenamento più lento
    • Più dati ma modelli più piccoli
    • Grafica migliore per una risoluzione inferiore
  4. Cos'è il campionamento "best-of-N"?
    • Formazione sugli N set di dati più grandi
    • Generazione di N risposte candidate e selezione della migliore
    • Utilizzando solo le prime N parole di un prompt
    • Esecuzione del modello su N computer diversi per velocità
  5. Perché il calcolo del tempo di test è considerato un nuovo "asse di scala"?
    • Sostituisce la necessità di qualsiasi formazione
    • Funziona solo su modelli piccoli
    • Migliora le prestazioni aggiungendo il calcolo dell'inferenza anziché limitarsi ad aumentare le dimensioni del modello
    • Riduce il numero di utenti che un modello può servire
  6. Quale risultato sorprendente consente il calcolo del tempo di test?
    • I modelli possono funzionare senza GPU
    • I dati di allenamento diventano inutili
    • I modelli rispondono sempre più velocemente
    • Un modello più piccolo che pensa più a lungo può rivaleggiare con un modello molto più grande che risponde istantaneamente
  7. What is one reason a fixed best-of-N strategy may waste inference compute?
    • It spends the same candidate budget on easy and difficult prompts
    • It modifies model weights on every query
    • It cannot generate multiple candidates
    • It eliminates the need for scoring
  8. What did the test-time compute paper compare with best-of-N sampling?
    • A strategy that disables inference
    • A compute-optimal strategy that allocates effort based on expected solution quality
    • A larger tokenizer vocabulary
    • A method that changes image resolution