Kvíz spojený s průvodcem · Střední úroveň

Kvíz škálování výpočtů v době testu

Prohlédněte si výpočet inference v čase, vyhledávání kandidátů, adaptivní alokaci a kompromisy mezi cenou a latencí měřenými v testovacích studiích.

Otázka 1 z 8

Co znamená „výpočet zkušební doby“?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co znamená „výpočet zkušební doby“?
    • Výpočet strávil trénování modelu na datech
    • Čas potřebný ke stažení modelu
    • Výpočet strávený, když model odpovídá na dotaz při odvození
    • Elektřina používaná k chlazení datových center
  2. In test-time scaling studies, what can extra inference compute be used for?
    • Changing the model’s training data during the request
    • Increasing the number of model parameters automatically
    • Guaranteeing correctness without evaluation
    • Searching or revising candidate solutions and checking their quality
  3. Co je základním kompromisem škálování testů?
    • Vyšší přesnost výměnou za vyšší latenci a náklady
    • Méně paměti, ale pomalejší trénink
    • Více dat, ale menší modely
    • Lepší grafika pro nižší rozlišení
  4. Co je vzorkování „best-of-N“?
    • Školení na N největších datových sadách
    • Generování N odpovědí kandidátů a výběr té nejlepší
    • Použití pouze prvních N slov výzvy
    • Spuštění modelu na N různých počítačích kvůli rychlosti
  5. Proč je výpočet v testovacím čase považován za novou „osu škálování“?
    • Nahrazuje potřebu jakéhokoli školení
    • Funguje pouze u malých modelů
    • Zlepšuje výkon přidáním inferenčního výpočtu, nikoli pouze zvětšováním velikosti modelu
    • Snižuje počet uživatelů, kterým může model sloužit
  6. Jaký překvapivý výsledek umožňuje výpočet v době testu?
    • Modely mohou běžet bez jakýchkoli GPU
    • Tréninková data se stanou zbytečnými
    • Modelky vždy odpovídají rychleji
    • Menší model, který myslí déle, může konkurovat mnohem většímu modelu, který odpovídá okamžitě
  7. What is one reason a fixed best-of-N strategy may waste inference compute?
    • It spends the same candidate budget on easy and difficult prompts
    • It modifies model weights on every query
    • It cannot generate multiple candidates
    • It eliminates the need for scoring
  8. What did the test-time compute paper compare with best-of-N sampling?
    • A strategy that disables inference
    • A compute-optimal strategy that allocates effort based on expected solution quality
    • A larger tokenizer vocabulary
    • A method that changes image resolution