Викторина, связанная с руководством · Жесткий Уровень
Тест на критический размер партии
Изучите критический размер пакета с помощью подсчета обновлений, примеров обработки, градиентного шума, сравнения времени достижения цели и практических аппаратных ограничений.
Вопрос 1 из 8
Какое поведение характеризует пакеты, значительно превышающие критический масштаб задачи обучения?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Какое поведение характеризует пакеты, значительно превышающие критический масштаб задачи обучения?
- Additional examples per update give diminishing reductions in required updates
- Training becomes mathematically impossible
- The model always stops fitting in memory
- Each batch doubling must halve elapsed time
- Почему самый большой пакет, помещающийся в память, не обязательно является критическим размером пакета?
- Memory capacity determines every gradient statistic
- Memory fit and optimization efficiency describe different constraints
- Critical batch size counts only storage bytes
- A fitting batch always minimizes time to target
- At a fixed batch of 256 and 4,000 updates, how many examples are processed?
- 4,256
- 15.625
- 1,024,000
- 512,000
- В сравнении с обработкой увеличение пакета с 256 до 512 приводит к изменению количества необходимых обновлений с 4 000 до 2 200. Что происходит с обработанными примерами?
- They fall by 45%
- They are unchanged
- They double
- They rise from 1,024,000 to 1,126,400, a 10% increase
- Какая измеряемая величина всё ещё необходима, прежде чем можно будет заключить, что меньшее количество обновлений обучения экономит время?
- Actual update or full-run timings on the intended hardware
- Only the checkpoint filename
- Only the parameter count
- Only the first batch’s loss
- Какую статистику упоминали в исследовании о больших пакетах, чтобы связать её с самым полезным диапазоном размера пакета?
- The number of output classes alone
- Gradient noise scale
- The checkpoint file extension
- The number of evaluation reports
- Why should a batch-size comparison state a common performance target?
- The target makes every learning rate equivalent
- It prevents batches from using different amounts of memory
- It lets runs be compared by the resources needed to reach the same goal
- It guarantees every run reaches the global optimum
- Why might a team revisit its batch size later in training?
- The number of bytes in a token always doubles
- A fixed batch stops being legal after one epoch
- Every later batch must be larger
- The useful critical scale can shift with training progress and the target loss