Тест, свързан с ръководство · Среден Ниво

Тест за закони за мащабиране на чинчила

Тествайте констатациите за бюджет за обучение на Chinchilla, примерът 70B/1.4T, пропорциите на мащабиране, приблизителното изчисление и разграничението от оптимизацията на внедряването.

Свързани ръководни пътекиЗакони за лющене на чинчила
Въпрос 1 на 8

What does Chinchilla's finding that parameters and tokens should scale in similar proportions mean?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. What does Chinchilla's finding that parameters and tokens should scale in similar proportions mean?
    • Both should grow with comparable scaling exponents under the studied training-compute objective
    • The numerical token count must equal the parameter count
    • Training data does not affect the fitted loss
    • Every deployment must choose the largest possible model
  2. What token-per-parameter ratio does the 70B-parameter, 1.4T-token Chinchilla experiment illustrate?
    • Exactly one token per parameter
    • About two thousand tokens per parameter
    • About twenty training tokens per parameter
    • A ratio determined only by the number of GPUs
  3. Кой модел превъзхожда Chinchilla, въпреки че е много по-малък?
    • GPT-2
    • Gopher
    • БЕРТ
    • Мамба
  4. Какво намекна Chinchilla за модели като GPT-3 по това време?
    • Те бяха претренирани
    • Имаха твърде малко налични изчисления
    • Те са използвали грешен токенизатор
    • Те са били недостатъчно обучени спрямо техния размер
  5. Приблизително как беше приблизително изчислението в анализа на Chinchilla?
    • Пропорционално само на броя графични процесори
    • Независимо от размера на данните
    • Пропорционално на параметрите, умножени по жетоните за обучение
    • Пропорционално на размера на речниковия запас
  6. Why might a deployment objective favor a smaller model trained on extra data rather than the training-compute optimum alone?
    • Repeated inference costs can matter alongside the initial training budget
    • Inference has no resource cost for any model
    • The Chinchilla study proved every scaling relationship false
    • More data always reduces both training and serving work to zero
  7. Under the approximation that training compute is proportional to N times D, how must D change if N doubles while that compute budget stays fixed?
    • D must also double
    • D must quadruple
    • D must remain unchanged
    • D must approximately halve
  8. Which three types of term appear in Chinchilla’s parametric loss fit?
    • Only GPU count, electricity price, and elapsed seconds
    • An irreducible base term, a model-size contribution, and a data-size contribution
    • Only vocabulary size, file size, and model name
    • Only a linear token count with no model-size term