Тест по масштабированию вычислений во время тестирования

Ответы и пояснения появляются по мере прохождения теста.

1. Что означает «вычисление во время тестирования»?
   • Вычисления, потраченные на обучение модели на данных
   • Время, необходимое для загрузки модели
   • Вычисления, затраченные на то, чтобы модель отвечала на запрос при выводе
   • Электричество, используемое для охлаждения центров обработки данных
2. In test-time scaling studies, what can extra inference compute be used for?
   • Changing the model’s training data during the request
   • Increasing the number of model parameters automatically
   • Guaranteeing correctness without evaluation
   • Searching or revising candidate solutions and checking their quality
3. В чем заключается основной компромисс при масштабировании вычислений во время тестирования?
   • Более высокая точность в обмен на большую задержку и стоимость
   • Меньше памяти, но медленнее обучение
   • Больше данных, но модели меньшего размера
   • Лучшая графика для меньшего разрешения
4. Что такое выборка «лучшая из N»?
   • Обучение на N крупнейших наборах данных
   • Генерация N ответов-кандидатов и выбор лучшего
   • Использование только первых N слов подсказки
   • Запуск модели на N разных компьютерах для повышения скорости
5. Почему вычисления во время тестирования считаются новой «осью масштабирования»?
   • Это заменяет необходимость любого обучения
   • Работает только на маленьких моделях.
   • Это повышает производительность за счет добавления вычислений вывода, а не только увеличения размера модели.
   • Это уменьшает количество пользователей, которые может обслуживать модель.
6. Какой удивительный результат дают вычисления во время тестирования?
   • Модели могут работать без каких-либо графических процессоров
   • Данные обучения становятся ненужными
   • Модели всегда отвечают быстрее
   • Меньшая модель, думающая дольше, может соперничать с гораздо более крупной моделью, реагирующей мгновенно.
7. What is one reason a fixed best-of-N strategy may waste inference compute?
   • It spends the same candidate budget on easy and difficult prompts
   • It modifies model weights on every query
   • It cannot generate multiple candidates
   • It eliminates the need for scoring
8. What did the test-time compute paper compare with best-of-N sampling?
   • A strategy that disables inference
   • A compute-optimal strategy that allocates effort based on expected solution quality
   • A larger tokenizer vocabulary
   • A method that changes image resolution