Тест за мащабиране на изчисляване на времето

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. За какво се отнася „изчисляване на тестово време“?
   • Изчисления, изразходвани за обучение на модела върху данни
   • Времето, необходимо за изтегляне на модел
   • Изчисление, изразходвано, когато моделът отговори на запитване при извод
   • Електричеството, използвано за охлаждане на центрове за данни
2. In test-time scaling studies, what can extra inference compute be used for?
   • Changing the model’s training data during the request
   • Increasing the number of model parameters automatically
   • Guaranteeing correctness without evaluation
   • Searching or revising candidate solutions and checking their quality
3. Какъв е основният компромис от мащабирането на изчисленията по време на тест?
   • По-висока точност в замяна на повече забавяне и разходи
   • По-малко памет, но по-бавно обучение
   • Повече данни, но по-малки модели
   • По-добра графика за по-ниска резолюция
4. Какво е семплиране „най-доброто от N“?
   • Обучение на N най-големите масиви от данни
   • Генериране на N кандидат отговора и избор на най-добрия
   • Използване само на първите N думи от подкана
   • Стартиране на модела на N различни компютъра за скорост
5. Защо изчисленията с тестово време се считат за нова „ос на мащабиране“?
   • Замества нуждата от каквото и да е обучение
   • Работи само при малки модели
   • Подобрява производителността чрез добавяне на изчисления за изводи, а не само чрез увеличаване на размера на модела
   • Това намалява броя на потребителите, които моделът може да обслужва
6. Какъв изненадващ резултат позволява изчисляването на тестово време?
   • Моделите могат да работят без GPU
   • Данните за обучение стават ненужни
   • Моделите винаги отговарят по-бързо
   • По-малък модел, който мисли по-дълго, може да съперничи на много по-голям модел, отговарящ незабавно
7. What is one reason a fixed best-of-N strategy may waste inference compute?
   • It spends the same candidate budget on easy and difficult prompts
   • It modifies model weights on every query
   • It cannot generate multiple candidates
   • It eliminates the need for scoring
8. What did the test-time compute paper compare with best-of-N sampling?
   • A strategy that disables inference
   • A compute-optimal strategy that allocates effort based on expected solution quality
   • A larger tokenizer vocabulary
   • A method that changes image resolution