Gids-gekoppelde quiz · Middelmatig Niveau

Test-Time Compute Schalingsquiz

Beoordeel berekeningen op inferentie-tijd, kandidaatzoeken, adaptieve toewijzing en de kosten-latency afwegingen die zijn gemeten in test-time studies.

Gerelateerde gidspadenTesttijd Compute-schaling
Vraag 1 van 8

Wat wordt bedoeld met 'testtijdberekening'?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat wordt bedoeld met 'testtijdberekening'?
    • Er is rekenkracht besteed aan het trainen van het model op gegevens
    • De tijd die nodig is om een model te downloaden
    • Berekening die wordt besteed wanneer het model een vraag bij gevolgtrekking beantwoordt
    • De elektriciteit die wordt gebruikt om datacenters te koelen
  2. In test-time scaling studies, what can extra inference compute be used for?
    • Changing the model’s training data during the request
    • Increasing the number of model parameters automatically
    • Guaranteeing correctness without evaluation
    • Searching or revising candidate solutions and checking their quality
  3. Wat is de belangrijkste afweging bij het schalen van computertests?
    • Hogere nauwkeurigheid in ruil voor meer latentie en kosten
    • Minder geheugen maar langzamere training
    • Meer gegevens maar kleinere modellen
    • Betere graphics voor een lagere resolutie
  4. Wat is 'best-of-N'-steekproef?
    • Training op de N grootste datasets
    • N-kandidaatantwoorden genereren en de beste selecteren
    • Alleen de eerste N woorden van een prompt gebruiken
    • Voor snelheid wordt het model op N verschillende computers uitgevoerd
  5. Waarom wordt testtijdberekening beschouwd als een nieuwe 'schaalas'?
    • Het vervangt de noodzaak van elke training
    • Het werkt alleen op kleine modellen
    • Het verbetert de prestaties door gevolgtrekkingsberekening toe te voegen in plaats van alleen maar de modelgrootte te vergroten
    • Het vermindert het aantal gebruikers dat een model kan bedienen
  6. Welk verrassend resultaat maakt test-time computing mogelijk?
    • Modellen kunnen zonder GPU's werken
    • Trainingsgegevens worden overbodig
    • Modellen antwoorden altijd sneller
    • Een kleiner model dat langer nadenkt, kan wedijveren met een veel groter model dat onmiddellijk antwoordt
  7. What is one reason a fixed best-of-N strategy may waste inference compute?
    • It spends the same candidate budget on easy and difficult prompts
    • It modifies model weights on every query
    • It cannot generate multiple candidates
    • It eliminates the need for scoring
  8. What did the test-time compute paper compare with best-of-N sampling?
    • A strategy that disables inference
    • A compute-optimal strategy that allocates effort based on expected solution quality
    • A larger tokenizer vocabulary
    • A method that changes image resolution