Tiếp theoHướng dẫn tiếp theo
Luật thu nhỏ chinchilla
Ngôn ngữ AI
HƯỚNG DẪN KỸ THUẬT
Data-constrained scaling studies how to allocate training resources when the supply of usable unique data is limited.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Repeating a corpus increases processed tokens without creating the same amount of new information. A useful plan distinguishes unique tokens, repeated exposures, model size, and evidence from held-out evaluation.
A training budget may permit more computation than the available corpus can use efficiently in a single pass. This happens in small domains, restricted language collections, and projects with a fixed set of approved documents. The question becomes how much to repeat the data, how large a model to train, and whether acquiring or improving data is more valuable than extending the run. Keep two token counts. Unique tokens describe the available corpus after the chosen processing and duplicate treatment. Processed tokens count every training exposure. With ten billion unique tokens and three complete passes, the run processes thirty billion tokens. The arithmetic tracks work, not thirty billion distinct pieces of evidence. A tokenizer or filtering change can also change the token count, so preserve the counting method when comparing experiments. The study Scaling Data-Constrained Language Models explicitly investigates this setting. Its experiments found that a limited amount of repetition could approach the loss achieved with additional unique data, while further repetition eventually offered diminishing value. The reported finding of small loss differences through roughly four epochs belongs to that study’s tested conditions; it is not a universal instruction to train every corpus four times. The work proposes a fitted scaling model that accounts for the reduced value of repeated data. Use that result to design a local experiment, not to skip one. Compare model sizes and repetition schedules under a stated compute budget, retain held-out data, and measure relevant task performance alongside loss. Keep evaluation examples out of training and check duplicate overlap. If later checkpoints improve training loss but worsen validation results, investigate memorization or mismatch rather than assuming more compute must help. Consider data quality, coverage, and permission to use candidate additions before enlarging the corpus.
A hypothetical team has ten billion unique tokens and runs three complete epochs. It records thirty billion processed tokens, while the unique-data count remains ten billion.
Two experiments process the same total tokens: one uses more unique documents and the other repeats a smaller corpus. The team compares held-out loss instead of assuming the token totals imply equal learning.
A group adds code to a text corpus as a candidate data mixture, then checks both text tasks and code tasks rather than presuming that every added token benefits every use case.
A researcher observes training loss falling while held-out loss rises after more repetitions. The team keeps the earlier checkpoint and investigates before spending the remaining compute.
As organizations train on specialized and curated collections, repetition schedules and data mixtures will remain practical design choices. Better fitted models may help prioritize experiments, but their predictions should be checked when the domain, architecture, tokenizer, or quality filters change. Record unique and processed tokens separately, preserve training and evaluation provenance, and compare checkpoints at meaningful budget intervals. An improved forecast is useful when it helps avoid an unproductive run; it does not remove the need to measure whether the resulting model performs the intended tasks.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Data-constrained scaling studies how to allocate training resources when the supply of usable unique data is limited. Repeating a corpus increases processed tokens without creating the same amount of new information. A useful plan distinguishes unique tokens, repeated exposures, model size, and evidence from held-out evaluation.
Các lượt đi lặp lại sẽ bổ sung thêm mức độ tiếp xúc đào tạo mà không làm tăng kích thước kho văn bản duy nhất: 10 tỷ × 3 = 30 tỷ.
Hướng dẫn này phân biệt thông tin duy nhất với các lần tiếp xúc lặp lại và khuyến nghị đánh giá các mô hình thu được.
Hướng dẫn này đề cập đến những khác biệt về tổn thất nhỏ được báo cáo đối với cấu hình của nghiên cứu và kêu gọi thử nghiệm cục bộ.
Dữ liệu hiệu quả tóm tắt giá trị học tập ước tính theo mô hình được trang bị; nó không phải là số lượng cơ thể vật lý.
Hành vi bị trì hoãn ngày càng tồi tệ là lý do để điều tra và so sánh các điểm kiểm tra thay vì thêm tính toán một cách mù quáng.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Luật thu nhỏ chinchilla
Ngôn ngữ AI