Викторина, связанная с руководством · Жесткий Уровень
Тест по оценке провалов обучения LLM
Оценивайте плотные операции обучения LLM с помощью 6ND, преобразуйте пропускную способность во время выполнения, различайте показатели использования и проверяйте предположения при планировании.
Вопрос 1 из 8
В приближении плотной модели C ≈ 6ND, какие величины представляют N и D?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- В приближении плотной модели C ≈ 6ND, какие величины представляют N и D?
- Parameter count and total processed training tokens
- Number of devices and unique documents
- Network layers and batch size
- Numerical precision and model file size
- Корпус из десяти миллиардов токенов обрабатывается дважды. Какое значение D используется в оценке 6ND?
- Ten billion, because only unique tokens count
- Twenty billion, because both passes perform training work
- Five billion, because repeated data halves the cost
- Two, because D means the number of passes
- Какое различие между FLOPs и FLOP/s необходимо учитывать при оценке графика обучения?
- Both are memory capacities
- FLOPs is speed and FLOP/s is total work
- FLOPs counts operations; FLOP/s is an operation rate
- Both directly specify the monetary cost
- For one billion parameters and twenty billion processed tokens, what does 6ND estimate?
- 1.2 × 10¹⁰ FLOPs
- 6 × 10²⁰ FLOPs
- 2 × 10¹⁹ FLOPs
- 1.2 × 10²⁰ FLOPs
- Восемь ускорителей каждый имеет соответствующий пик 100 TFLOP/с и предполагаемую эффективность использования FLOP модели 50%. Какой эффективный пропускной поток модели используется?
- 400 TFLOP/s
- 800 TFLOP/s
- 4 TFLOP/s
- 40,000 TFLOP/s
- Рабочий запуск занимает около 83,3 затраченных часов на восемь ускорителей. Сколько примерно часов работы ускорителей он потребляет?
- About 10.4
- About 667
- About 83.3
- About 300,000
- Why can hardware FLOPs utilization exceed model FLOPs utilization for a run that recomputes activations?
- Recomputation creates new unique training tokens
- Model utilization counts storage instead of operations
- Hardware accounting can include recomputation that is excluded from useful model-work accounting
- The two measures always use different device counts
- Before treating a 6ND runtime estimate as a practical schedule, which check does the guide recommend?
- Assume the model fits if peak FLOP/s is high
- Reuse any published utilization percentage unchanged
- Count only model weights and ignore training buffers
- Measure a representative pilot and account for memory and activities outside its timing scope