Luật mở rộng cho bài kiểm tra mạng lưới thần kinh

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. What pattern did Kaplan et al. report for language-model loss as model size, data, or compute increased?
   • Approximate power-law relationships over the tested ranges
   • A sudden guaranteed drop to zero
   • A fixed increase in loss for every larger model
   • Random oscillation with no measurable trend
2. Ba đại lượng nào mà định luật tỉ lệ ban đầu liên quan đến sự mất mát?
   • Kích thước lô, tỷ lệ bỏ học và kỷ nguyên
   • Tham số mô hình, kích thước tập dữ liệu và tính toán
   • Tốc độ học tập, giảm trọng lượng và độ sâu
   • Số lượng GPU, bộ nhớ và độ trễ
3. How can a scaling-law fit help when planning a larger training run?
   • It guarantees the final benchmark score
   • It eliminates the need for validation
   • It can inform an extrapolation from smaller experiments, subject to the tested setup
   • It predicts results exactly for any dataset or architecture
4. Số hạng không đổi (không thể rút gọn) trong công thức mất quy luật tỉ lệ thể hiện điều gì?
   • Một lỗi phần mềm
   • Tỷ lệ học tập
   • Số lượng GPU
   • Entropy nội tại của dữ liệu mà không mô hình nào có thể đánh bại
5. Why can absolute loss reductions become smaller as compute keeps increasing under a power-law fit?
   • The reducible loss term shrinks while the loss approaches its floor
   • The data is removed after each compute increase
   • The model stops using parameters
   • Power laws require loss to increase over time
6. Xu hướng nào đang thúc đẩy lĩnh vực này vượt ra khỏi quy mô đơn giản 'càng lớn càng tốt'?
   • GPU trở nên miễn phí
   • Sự khan hiếm dữ liệu chất lượng cao cộng với các giới hạn về năng lượng và chi phí
   • Xuất hiện văn bản chất lượng cao không giới hạn
   • Đường cong tổn hao biến thành đường thẳng đứng
7. What did the original Kaplan study say about architecture details such as width and depth within its tested range?
   • They always dominated model size, data, and compute
   • They made loss independent of data
   • They had relatively small effects compared with the studied scaling variables
   • They guaranteed the same performance for all architectures
8. What compute-allocation tendency did the original Kaplan paper report?
   • Every model should be trained to zero loss
   • Small models always use less compute at equal loss
   • Training data has no effect on compute allocation
   • Large models could be more sample-efficient and compute-efficient training could stop before convergence