Вікторина, пов’язана з посібником · Середній Рівень

Тест з масштабування обчислень

Перегляньте обчислення часу висновку, пошук кандидатів, адаптивний розподіл і компроміси між витратами та затримкою, виміряні в дослідженнях часу тестування.

Пов'язані напрямні шляхиТестування масштабування обчислення часу
Питання 1 з 8

Що означає «обчислення тестового часу»?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що означає «обчислення тестового часу»?
    • Обчислення проводили навчання моделі на даних
    • Час, необхідний для завантаження моделі
    • Обчислення, витрачені, коли модель відповідає на запит під час висновку
    • Електроенергія, яка використовується для охолодження центрів обробки даних
  2. In test-time scaling studies, what can extra inference compute be used for?
    • Changing the model’s training data during the request
    • Increasing the number of model parameters automatically
    • Guaranteeing correctness without evaluation
    • Searching or revising candidate solutions and checking their quality
  3. Який основний компроміс масштабування обчислень під час тестування?
    • Вища точність в обмін на більшу затримку та вартість
    • Менше пам'яті, але повільніше навчання
    • Більше даних, але менші моделі
    • Краща графіка для нижчої роздільної здатності
  4. Що таке вибірка «найкраще з N»?
    • Навчання на N найбільших наборах даних
    • Створення N варіантів відповідей і вибір найкращого
    • Використання лише перших N слів підказки
    • Запуск моделі на N різних комп’ютерах для досягнення швидкості
  5. Чому обчислення під час тестування вважають новою «віссю масштабування»?
    • Це замінює необхідність будь-яких тренувань
    • Працює лише на маленьких моделях
    • Він покращує продуктивність, додаючи обчислення висновків, а не лише збільшуючи розмір моделі
    • Це зменшує кількість користувачів, яких може обслуговувати модель
  6. Який дивовижний результат дає обчислення під час тестування?
    • Моделі можуть працювати без графічних процесорів
    • Дані про навчання стають непотрібними
    • Моделі завжди відповідають швидше
    • Менша модель, яка думає довше, може конкурувати з набагато більшою моделлю, яка відповідає миттєво
  7. What is one reason a fixed best-of-N strategy may waste inference compute?
    • It spends the same candidate budget on easy and difficult prompts
    • It modifies model weights on every query
    • It cannot generate multiple candidates
    • It eliminates the need for scoring
  8. What did the test-time compute paper compare with best-of-N sampling?
    • A strategy that disables inference
    • A compute-optimal strategy that allocates effort based on expected solution quality
    • A larger tokenizer vocabulary
    • A method that changes image resolution