Κουίζ για τους νόμους για τα νευρωνικά δίκτυα

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. What pattern did Kaplan et al. report for language-model loss as model size, data, or compute increased?
   • Approximate power-law relationships over the tested ranges
   • A sudden guaranteed drop to zero
   • A fixed increase in loss for every larger model
   • Random oscillation with no measurable trend
2. Ποιες τρεις ποσότητες σχετίζονται με την απώλεια οι αρχικοί νόμοι κλιμάκωσης;
   • Μέγεθος παρτίδας, εγκατάλειψη και εποχές
   • Παράμετροι μοντέλου, μέγεθος δεδομένων και υπολογισμός
   • Ρυθμός μάθησης, μείωση βάρους και βάθος
   • Αριθμός GPU, μνήμη και καθυστέρηση
3. How can a scaling-law fit help when planning a larger training run?
   • It guarantees the final benchmark score
   • It eliminates the need for validation
   • It can inform an extrapolation from smaller experiments, subject to the tested setup
   • It predicts results exactly for any dataset or architecture
4. Τι αντιπροσωπεύει ο σταθερός (μη αναγώγιμος) όρος σε έναν τύπο απώλειας νόμου κλίμακας;
   • Ένα σφάλμα λογισμικού
   • Το ποσοστό μάθησης
   • Ο αριθμός των GPU
   • Η εγγενής εντροπία των δεδομένων που κανένα μοντέλο δεν μπορεί να νικήσει
5. Why can absolute loss reductions become smaller as compute keeps increasing under a power-law fit?
   • The reducible loss term shrinks while the loss approaches its floor
   • The data is removed after each compute increase
   • The model stops using parameters
   • Power laws require loss to increase over time
6. Ποια τάση ωθεί το πεδίο πέρα από την απλή κλιμάκωση «μεγαλύτερο, τόσο καλύτερο»;
   • Οι GPU γίνονται δωρεάν
   • Έλλειψη δεδομένων υψηλής ποιότητας συν τα όρια ενέργειας και κόστους
   • Εμφανίζεται απεριόριστο κείμενο υψηλής ποιότητας
   • Οι καμπύλες απώλειας μετατρέπονται σε ευθείες κάθετες γραμμές
7. What did the original Kaplan study say about architecture details such as width and depth within its tested range?
   • They always dominated model size, data, and compute
   • They made loss independent of data
   • They had relatively small effects compared with the studied scaling variables
   • They guaranteed the same performance for all architectures
8. What compute-allocation tendency did the original Kaplan paper report?
   • Every model should be trained to zero loss
   • Small models always use less compute at equal loss
   • Training data has no effect on compute allocation
   • Large models could be more sample-efficient and compute-efficient training could stop before convergence