Викторина, связанная с руководством · Жесткий Уровень

Тест на критический размер партии

Изучите критический размер пакета с помощью подсчета обновлений, примеров обработки, градиентного шума, сравнения времени достижения цели и практических аппаратных ограничений.

Связанные направляющие путиКритический размер партии
Вопрос 1 из 8

Какое поведение характеризует пакеты, значительно превышающие критический масштаб задачи обучения?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какое поведение характеризует пакеты, значительно превышающие критический масштаб задачи обучения?
    • Additional examples per update give diminishing reductions in required updates
    • Training becomes mathematically impossible
    • The model always stops fitting in memory
    • Each batch doubling must halve elapsed time
  2. Почему самый большой пакет, помещающийся в память, не обязательно является критическим размером пакета?
    • Memory capacity determines every gradient statistic
    • Memory fit and optimization efficiency describe different constraints
    • Critical batch size counts only storage bytes
    • A fitting batch always minimizes time to target
  3. At a fixed batch of 256 and 4,000 updates, how many examples are processed?
    • 4,256
    • 15.625
    • 1,024,000
    • 512,000
  4. В сравнении с обработкой увеличение пакета с 256 до 512 приводит к изменению количества необходимых обновлений с 4 000 до 2 200. Что происходит с обработанными примерами?
    • They fall by 45%
    • They are unchanged
    • They double
    • They rise from 1,024,000 to 1,126,400, a 10% increase
  5. Какая измеряемая величина всё ещё необходима, прежде чем можно будет заключить, что меньшее количество обновлений обучения экономит время?
    • Actual update or full-run timings on the intended hardware
    • Only the checkpoint filename
    • Only the parameter count
    • Only the first batch’s loss
  6. Какую статистику упоминали в исследовании о больших пакетах, чтобы связать её с самым полезным диапазоном размера пакета?
    • The number of output classes alone
    • Gradient noise scale
    • The checkpoint file extension
    • The number of evaluation reports
  7. Why should a batch-size comparison state a common performance target?
    • The target makes every learning rate equivalent
    • It prevents batches from using different amounts of memory
    • It lets runs be compared by the resources needed to reach the same goal
    • It guarantees every run reaches the global optimum
  8. Why might a team revisit its batch size later in training?
    • The number of bytes in a token always doubles
    • A fixed batch stops being legal after one epoch
    • Every later batch must be larger
    • The useful critical scale can shift with training progress and the target loss