Викторина, связанная с руководством · Жесткий Уровень
Викторина по законам масштабирования с ограничением данных
Причина в ограниченности уникальных данных, повторяющихся токенах обучения, бюджетах эпох, убывающей отдаче, задержке оценки и изменениях в смесях данных.
Вопрос 1 из 8
Корпус содержит десять миллиардов уникальных токенов и обрабатывается в течение трёх полных эпох. Какой учёт верен?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Корпус содержит десять миллиардов уникальных токенов и обрабатывается в течение трёх полных эпох. Какой учёт верен?
- Ten billion unique tokens and thirty billion processed tokens
- Thirty billion unique tokens and ten billion processed tokens
- Three billion unique tokens and thirty billion processed tokens
- Thirty billion independent documents
- Почему два запуска с одинаковым количеством обработанных токенов могут обучаться по‑разному?
- Token counts determine quality exactly
- One may use more unique information while the other repeats a smaller corpus
- Every repeated token adds the same independent evidence as fresh data
- Only the number of epochs can affect learning
- Как следует интерпретировать выводы упомянутого исследования о примерно четырёх эпохах?
- Every model must stop after exactly four epochs
- Four epochs always equal four times as much unique data
- It is an empirical result under tested conditions, not a universal training rule
- It proves that data quality never matters
- Что представляет собой подогнанное количество эффективных данных в этой ситуации?
- The exact number of original documents
- The storage size of the dataset
- A guaranteed number of independent facts
- A modeling quantity that can discount repeated exposures
- Потери на обучении продолжают падать, в то время как потери на отложенной выборке растут после дальнейшего повторения. Какой ответ соответствует руководству?
- Investigate memorization or mismatch before extending the run
- Ignore held-out results because the training score improved
- Add the held-out examples to training and keep the same evaluation claim
- Assume more epochs must fix the problem
- Which preparation helps make a unique-token comparison meaningful across experiments?
- Change tokenizers without documenting it
- Record tokenization, filtering, and duplicate treatment
- Report only the number of checkpoints
- Count every generated copy as new independent data
- What should a team do when adding code or synthetic material to a constrained text corpus?
- Assume any additional token improves every task
- Skip provenance checks if total compute is unchanged
- Evaluate the new mixture on relevant held-out tasks and inspect provenance and overlap
- Treat all generated text as verified ground truth
- What limitation can remain even when a team trains a larger model on more repetitions?
- The number of processed tokens must stay fixed
- The original corpus automatically becomes larger
- The held-out set becomes unnecessary
- Missing domain coverage may still be missing