HƯỚNG DẪN KỸ THUẬT

Định luật tỷ lệ bị hạn chế bởi dữ liệu

Data-constrained scaling studies how to allocate training resources when the supply of usable unique data is limited.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. The Future of Data-Constrained Scaling Laws
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Repeating a corpus increases processed tokens without creating the same amount of new information. A useful plan distinguishes unique tokens, repeated exposures, model size, and evidence from held-out evaluation.

Lặn sâu

A training budget may permit more computation than the available corpus can use efficiently in a single pass. This happens in small domains, restricted language collections, and projects with a fixed set of approved documents. The question becomes how much to repeat the data, how large a model to train, and whether acquiring or improving data is more valuable than extending the run. Keep two token counts. Unique tokens describe the available corpus after the chosen processing and duplicate treatment. Processed tokens count every training exposure. With ten billion unique tokens and three complete passes, the run processes thirty billion tokens. The arithmetic tracks work, not thirty billion distinct pieces of evidence. A tokenizer or filtering change can also change the token count, so preserve the counting method when comparing experiments. The study Scaling Data-Constrained Language Models explicitly investigates this setting. Its experiments found that a limited amount of repetition could approach the loss achieved with additional unique data, while further repetition eventually offered diminishing value. The reported finding of small loss differences through roughly four epochs belongs to that study’s tested conditions; it is not a universal instruction to train every corpus four times. The work proposes a fitted scaling model that accounts for the reduced value of repeated data. Use that result to design a local experiment, not to skip one. Compare model sizes and repetition schedules under a stated compute budget, retain held-out data, and measure relevant task performance alongside loss. Keep evaluation examples out of training and check duplicate overlap. If later checkpoints improve training loss but worsen validation results, investigate memorization or mismatch rather than assuming more compute must help. Consider data quality, coverage, and permission to use candidate additions before enlarging the corpus.

Triển khai trong thế giới thực

A hypothetical team has ten billion unique tokens and runs three complete epochs. It records thirty billion processed tokens, while the unique-data count remains ten billion.

Two experiments process the same total tokens: one uses more unique documents and the other repeats a smaller corpus. The team compares held-out loss instead of assuming the token totals imply equal learning.

A group adds code to a text corpus as a candidate data mixture, then checks both text tasks and code tasks rather than presuming that every added token benefits every use case.

A researcher observes training loss falling while held-out loss rises after more repetitions. The team keeps the earlier checkpoint and investigates before spending the remaining compute.

The Future of Data-Constrained Scaling Laws

As organizations train on specialized and curated collections, repetition schedules and data mixtures will remain practical design choices. Better fitted models may help prioritize experiments, but their predictions should be checked when the domain, architecture, tokenizer, or quality filters change. Record unique and processed tokens separately, preserve training and evaluation provenance, and compare checkpoints at meaningful budget intervals. An improved forecast is useful when it helps avoid an unproductive run; it does not remove the need to measure whether the resulting model performs the intended tasks.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Data-Constrained Scaling Laws quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

What is Data-Constrained Scaling Laws?

Data-constrained scaling studies how to allocate training resources when the supply of usable unique data is limited. Repeating a corpus increases processed tokens without creating the same amount of new information. A useful plan distinguishes unique tokens, repeated exposures, model size, and evidence from held-out evaluation.

Một kho văn bản chứa mười tỷ mã thông báo duy nhất và được xử lý trong ba kỷ nguyên hoàn chỉnh. Kế toán nào đúng?

Các lượt đi lặp lại sẽ bổ sung thêm mức độ tiếp xúc đào tạo mà không làm tăng kích thước kho văn bản duy nhất: 10 tỷ × 3 = 30 tỷ.

Tại sao hai lần chạy có cùng số lượng mã thông báo được xử lý có thể học khác nhau?

Hướng dẫn này phân biệt thông tin duy nhất với các lần tiếp xúc lặp lại và khuyến nghị đánh giá các mô hình thu được.

Phát hiện của nghiên cứu được trích dẫn về khoảng bốn kỷ nguyên nên được giải thích như thế nào?

Hướng dẫn này đề cập đến những khác biệt về tổn thất nhỏ được báo cáo đối với cấu hình của nghiên cứu và kêu gọi thử nghiệm cục bộ.

Số lượng dữ liệu hiệu quả phù hợp thể hiện điều gì trong cài đặt này?

Dữ liệu hiệu quả tóm tắt giá trị học tập ước tính theo mô hình được trang bị; nó không phải là số lượng cơ thể vật lý.

Tổn thất huấn luyện tiếp tục giảm trong khi tổn thất cố định tăng lên sau nhiều lần lặp lại. Phản ứng nào tuân theo hướng dẫn?

Hành vi bị trì hoãn ngày càng tồi tệ là lý do để điều tra và so sánh các điểm kiểm tra thay vì thêm tính toán một cách mù quáng.