ДалееСледующее руководство
Оценка затрат LLM API и бюджетов токенов
Технический
Техническое РУКОВОДСТВО
Для плотной языковой модели C ≈ 6ND оценивает вычисления обучения из количества параметров N и обработанных токенов обучения D.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Преобразование этого количества операций во время также требует реалистичной пропускной способности ускорителя и его использования. Результат — приблизительная оценка планирования, а не обещание относительно времени выполнения, памяти, стоимости или качества модели.
Training compute counts arithmetic operations, while FLOP/s measures how quickly a system performs them. Keep those units separate. For a conventional dense Transformer, a common first estimate is C ≈ 6ND, where N is the relevant parameter count and D is the total number of tokens processed during training. Repeated passes through the same tokens count again. State how embeddings and other parameters are counted so comparisons use the same convention. The factor six approximates the main parameter-matrix work: roughly 2N operations per token in the forward pass and 4N in the backward pass. It is not an exact count of every operation. Attention, long sequences, architecture differences, and implementation choices can require a more detailed estimate. Applying the dense formula to a mixture-of-experts model using all stored parameters can be misleading because only some experts are active for each token. Consider a constructed example with N = 10⁹ and D = 2 × 10¹⁰. Multiplying gives C ≈ 1.2 × 10²⁰ FLOPs. Suppose eight accelerators each have a relevant peak of 100 × 10¹² FLOP/s, with an assumed model FLOPs utilization of 0.5. Their effective model throughput is 4 × 10¹⁴ FLOP/s. Dividing compute by throughput gives 300,000 seconds, about 83.3 hours. Eight devices running that long represent about 667 accelerator-hours. Measure a representative training pilot before committing to a schedule. Use the intended sequence length, batch size, precision, software, and device arrangement. Record both tokens per second and what the timing includes. Add explicit allowances for evaluation, checkpoints, interruptions, and experimentation when those activities fall outside the measurement. The arithmetic estimate alone does not show whether the model fits in memory.
Гипотетическая плотная модель с одним миллиардом параметров обрабатывает двадцать миллиардов токенов. Оценка 6ND составляет 1,2 × 10²⁰ операций с плавающей точкой.
Команда предполагает восемь ускорителей, каждый с производительностью 100 TFLOP/s для соответствующей точности, и 50% использования FLOP модели. Эффективная пропускная способность модели составляет 400 TFLOP/s, что дает около 83,3 часов для примера запуска.
Исследователь обрабатывает корпус из десяти миллиардов токенов дважды. D равно двадцати миллиардам обработанных токенов, хотя уникальный корпус содержит десять миллиардов токенов.
Пилотный проект обучения достигает только половины оцененных токенов в секунду. Команда пересматривает график, используя наблюдаемый пропускной канал вместо того, чтобы считать пик производительности чипа как устойчивую работу.
Системы обучения будут продолжать менять свои числовые форматы, ядра, параллельное выполнение и стратегии памяти. Эти изменения могут изменить полезную пропускную способность, достигаемую для в целом похожей модели. Ведите небольшую оценочную таблицу с конвенцией параметров, бюджетом токенов, предположениями о железе, измеренной скоростью пилотного запуска и исключёнными действиями. Обновляйте таблицу при изменении конфигурации, а не переиспользуйте процент использования из несвязанного бенчмарка. Сравнивайте оценку с завершённым запуском, чтобы улучшать планирование в будущем, и сохраняйте диапазон, когда пропускная способность или частота прерываний остаются неопределёнными.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Для плотной языковой модели C ≈ 6ND оценивает количество арифметических операций обучения по числу параметров N и обработанным токенам обучения D. Преобразование этого количества операций во время также требует реальной пропускной способности ускорителя и его использования. Результат — приближённый план, а не обещание относительно времени выполнения, памяти, стоимости или качества модели.
N — количество параметров согласно выбранной конвенции; D — количество токенов, обработанных во время обучения.
D учитывает обработанные токены, поэтому два прохода по десяти миллиардам токенов дают двадцать миллиардов токенов.
Разделите общее количество операций на операции в секунду, чтобы получить секунды.
8 × 100 × 0.5 = 400 TFLOP/с. Оценка только по пиковому значению исключила бы предположение об использовании.
Умножьте затраченные часы на количество устройств: 83,3 × 8 ≈ 667 часов работы ускорителей.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Оценка затрат LLM API и бюджетов токенов
Технический