Вікторина, пов’язана з посібником · Середній Рівень

Вікторина щодо законів лущення шиншил

Висновки тестування Chinchilla щодо навчання та бюджету, приклад 70B/1,4T, пропорції масштабування, приблизне обчислення та відмінність від оптимізації розгортання.

Пов'язані напрямні шляхиЗакони лущення шиншил
Питання 1 з 8

What does Chinchilla's finding that parameters and tokens should scale in similar proportions mean?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. What does Chinchilla's finding that parameters and tokens should scale in similar proportions mean?
    • Both should grow with comparable scaling exponents under the studied training-compute objective
    • The numerical token count must equal the parameter count
    • Training data does not affect the fitted loss
    • Every deployment must choose the largest possible model
  2. What token-per-parameter ratio does the 70B-parameter, 1.4T-token Chinchilla experiment illustrate?
    • Exactly one token per parameter
    • About two thousand tokens per parameter
    • About twenty training tokens per parameter
    • A ratio determined only by the number of GPUs
  3. Яка модель Chinchilla була кращою, незважаючи на те, що була набагато меншою?
    • ГПТ-2
    • ховрашок
    • БЕРТ
    • Мамба
  4. Що натякала Chinchilla про такі моделі, як GPT-3 у той час?
    • Вони були перетреновані
    • У них було занадто мало доступних обчислювальних засобів
    • Вони використали неправильний токенізатор
    • Вони були недостатньо підготовлені відносно свого розміру
  5. Приблизно як було наближено обчислення в аналізі Chinchilla?
    • Лише пропорційно кількості графічних процесорів
    • Незалежно від розміру даних
    • Пропорційно до параметрів, помножених на навчальні токени
    • Пропорційно розміру словникового запасу
  6. Why might a deployment objective favor a smaller model trained on extra data rather than the training-compute optimum alone?
    • Repeated inference costs can matter alongside the initial training budget
    • Inference has no resource cost for any model
    • The Chinchilla study proved every scaling relationship false
    • More data always reduces both training and serving work to zero
  7. Under the approximation that training compute is proportional to N times D, how must D change if N doubles while that compute budget stays fixed?
    • D must also double
    • D must quadruple
    • D must remain unchanged
    • D must approximately halve
  8. Which three types of term appear in Chinchilla’s parametric loss fit?
    • Only GPU count, electricity price, and elapsed seconds
    • An irreducible base term, a model-size contribution, and a data-size contribution
    • Only vocabulary size, file size, and model name
    • Only a linear token count with no model-size term