Викторина, связанная с руководством · Жесткий Уровень

Викторина по законам масштабирования с ограничением данных

Причина в ограниченности уникальных данных, повторяющихся токенах обучения, бюджетах эпох, убывающей отдаче, задержке оценки и изменениях в смесях данных.

Вопрос 1 из 8

Корпус содержит десять миллиардов уникальных токенов и обрабатывается в течение трёх полных эпох. Какой учёт верен?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Корпус содержит десять миллиардов уникальных токенов и обрабатывается в течение трёх полных эпох. Какой учёт верен?
    • Ten billion unique tokens and thirty billion processed tokens
    • Thirty billion unique tokens and ten billion processed tokens
    • Three billion unique tokens and thirty billion processed tokens
    • Thirty billion independent documents
  2. Почему два запуска с одинаковым количеством обработанных токенов могут обучаться по‑разному?
    • Token counts determine quality exactly
    • One may use more unique information while the other repeats a smaller corpus
    • Every repeated token adds the same independent evidence as fresh data
    • Only the number of epochs can affect learning
  3. Как следует интерпретировать выводы упомянутого исследования о примерно четырёх эпохах?
    • Every model must stop after exactly four epochs
    • Four epochs always equal four times as much unique data
    • It is an empirical result under tested conditions, not a universal training rule
    • It proves that data quality never matters
  4. Что представляет собой подогнанное количество эффективных данных в этой ситуации?
    • The exact number of original documents
    • The storage size of the dataset
    • A guaranteed number of independent facts
    • A modeling quantity that can discount repeated exposures
  5. Потери на обучении продолжают падать, в то время как потери на отложенной выборке растут после дальнейшего повторения. Какой ответ соответствует руководству?
    • Investigate memorization or mismatch before extending the run
    • Ignore held-out results because the training score improved
    • Add the held-out examples to training and keep the same evaluation claim
    • Assume more epochs must fix the problem
  6. Which preparation helps make a unique-token comparison meaningful across experiments?
    • Change tokenizers without documenting it
    • Record tokenization, filtering, and duplicate treatment
    • Report only the number of checkpoints
    • Count every generated copy as new independent data
  7. What should a team do when adding code or synthetic material to a constrained text corpus?
    • Assume any additional token improves every task
    • Skip provenance checks if total compute is unchanged
    • Evaluate the new mixture on relevant held-out tasks and inspect provenance and overlap
    • Treat all generated text as verified ground truth
  8. What limitation can remain even when a team trains a larger model on more repetitions?
    • The number of processed tokens must stay fixed
    • The original corpus automatically becomes larger
    • The held-out set becomes unnecessary
    • Missing domain coverage may still be missing