ДалееСледующее руководство
Сколько тестовых случаев необходимо для быстрой оценки
Технический
Техническое РУКОВОДСТВО
Критический размер пакета описывает переход в эффективности обучения: после него увеличение размера пакета приводит к уменьшению снижения количества обновлений, необходимых для достижения цели.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это свойство задачи обучения и целевого показателя, а не просто самый большой пакет, который помещается в память ускорителя. Выбор пакета также требует измерения прошедшего времени, общего количества обработанных примеров и конечной производительности задачи.
A batch is the set of training examples used to form an update. Increasing its size averages over more examples and can reduce gradient noise. With enough parallel hardware, a larger batch may also reduce how many sequential updates are needed to achieve a chosen performance level. But those improvements do not continue proportionally forever. Critical batch size marks a characteristic transition in this tradeoff. In the empirical model of McCandlish and colleagues, batches well below the critical scale are relatively efficient per example. Far above it, adding examples to each update brings diminishing reductions in the number of updates. This is a smooth change in efficiency, not a universal hard limit beyond which training cannot work. The research connects the transition to gradient noise scale and finds that it can shift as training progresses. Define a common target before comparing runs. For an invented example, batch 256 reaches that target in 4,000 updates, processing 1,024,000 examples. Batch 512 takes 2,200 updates but processes 1,126,400 examples. It saves 45% of the updates while using 10% more examples. That could be an attractive elapsed-time tradeoff, but only measured update times reveal the runtime benefit. These two observations alone do not identify a precise critical batch size. Sweep several global batch sizes and tune relevant optimizer settings fairly. Record examples or tokens, updates, elapsed time, and validation performance at the same target. Keep track of whether a learning-rate schedule is expressed in updates or processed data, since changing the batch changes that relationship. Memory capacity, communication, and kernel efficiency impose additional practical limits that the statistical concept alone does not describe.
В гипотетическом эксперименте пакет 256 требует 4 000 обновлений для достижения цели, тогда как пакет 512 — 2 200. Второй запуск использует меньше обновлений, но обрабатывает 1 126 400 примеров вместо 1 024 000.
Команда снова удваивает размер пакета, но почти не наблюдает снижения количества обновлений до той же цели. Она проверяет, приносит ли дополнительная параллельная работа полезный прогресс в оптимизации.
Исследователь повторно проводит sweep размеров пакетов позже в процессе обучения, а не полагается на то, что лучший пакет из ранних этапов остаётся лучшим при приближении к целевой потере.
Две конфигурации используют один и тот же глобальный батч, но разное число устройств. Команда сравнивает прошедшее время, потому что коммуникация и выполнение на каждом обновлении могут отличаться.
Адаптивные расписания пакетов могут стать проще для оценки, поскольку инструменты обучения предоставляют статистику градиентов и измерения прогресса. Их ценность всё ещё требует доказательств на конкретном оптимизаторе, модели и данных, а не заимствованного порога из другой нагрузки. Команды могут поддерживать небольшой набор экспериментов с пакетами рядом с исследованиями скорости обучения, пересматривать выбор при изменении фазы обучения и сообщать как о расходе ресурсов, так и о времени до достижения цели. Воспроизводимое сравнение должно сохранять определение цели и включать неудачные конфигурации, чтобы кажущийся выигрыш не основывался только на выбранном запуске.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Критический размер пакета описывает переход в эффективности обучения: после него увеличение размеров пакетов приводит к всё меньшему сокращению количества обновлений, необходимых для достижения цели. Это свойство задачи обучения и целевого показателя, а не просто самый большой пакет, помещающийся в память ускорителя. Выбор размера пакета также требует измерения прошедшего времени, общего количества обработанных примеров и конечной производительности задачи.
Критический масштаб описывает убывающую отдачу от оптимизации при увеличении размеров пакетов, а не универсальную невозможность обучения.
Критический размер пакета относится к эффективности обучения, тогда как ёмкость памяти — отдельное практическое ограничение.
Больший пакет обрабатывает 512 × 2 200 = 1 126 400 примеров, несмотря на то, что требуется меньше обновлений.
Обновления могут занимать разное время в зависимости от размера пакета и конфигурации устройств.
В исследовании используется шкала шума градиента как эмпирический предиктор критического диапазона пакета.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Сколько тестовых случаев необходимо для быстрой оценки
Технический