Kvíz spojený s průvodcem · Střední úroveň
Kvíz škálování výpočtů v době testu
Prohlédněte si výpočet inference v čase, vyhledávání kandidátů, adaptivní alokaci a kompromisy mezi cenou a latencí měřenými v testovacích studiích.
Otázka 1 z 8
Co znamená „výpočet zkušební doby“?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co znamená „výpočet zkušební doby“?
- Výpočet strávil trénování modelu na datech
- Čas potřebný ke stažení modelu
- Výpočet strávený, když model odpovídá na dotaz při odvození
- Elektřina používaná k chlazení datových center
- In test-time scaling studies, what can extra inference compute be used for?
- Changing the model’s training data during the request
- Increasing the number of model parameters automatically
- Guaranteeing correctness without evaluation
- Searching or revising candidate solutions and checking their quality
- Co je základním kompromisem škálování testů?
- Vyšší přesnost výměnou za vyšší latenci a náklady
- Méně paměti, ale pomalejší trénink
- Více dat, ale menší modely
- Lepší grafika pro nižší rozlišení
- Co je vzorkování „best-of-N“?
- Školení na N největších datových sadách
- Generování N odpovědí kandidátů a výběr té nejlepší
- Použití pouze prvních N slov výzvy
- Spuštění modelu na N různých počítačích kvůli rychlosti
- Proč je výpočet v testovacím čase považován za novou „osu škálování“?
- Nahrazuje potřebu jakéhokoli školení
- Funguje pouze u malých modelů
- Zlepšuje výkon přidáním inferenčního výpočtu, nikoli pouze zvětšováním velikosti modelu
- Snižuje počet uživatelů, kterým může model sloužit
- Jaký překvapivý výsledek umožňuje výpočet v době testu?
- Modely mohou běžet bez jakýchkoli GPU
- Tréninková data se stanou zbytečnými
- Modelky vždy odpovídají rychleji
- Menší model, který myslí déle, může konkurovat mnohem většímu modelu, který odpovídá okamžitě
- What is one reason a fixed best-of-N strategy may waste inference compute?
- It spends the same candidate budget on easy and difficult prompts
- It modifies model weights on every query
- It cannot generate multiple candidates
- It eliminates the need for scoring
- What did the test-time compute paper compare with best-of-N sampling?
- A strategy that disables inference
- A compute-optimal strategy that allocates effort based on expected solution quality
- A larger tokenizer vocabulary
- A method that changes image resolution