Gids-gekoppelde quiz · Middelmatig Niveau

Schaalwetten voor neurale netwerken Quiz

Test hoe empirische schaalwetten het verlies van taalmodellen relateren aan parameters, gegevens en berekeningen, en waar hun voorspellingen van toepassing zijn.

Vraag 1 van 8

What pattern did Kaplan et al. report for language-model loss as model size, data, or compute increased?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. What pattern did Kaplan et al. report for language-model loss as model size, data, or compute increased?
    • Approximate power-law relationships over the tested ranges
    • A sudden guaranteed drop to zero
    • A fixed increase in loss for every larger model
    • Random oscillation with no measurable trend
  2. Op welke drie grootheden hebben de oorspronkelijke schaalwetten betrekking op verlies?
    • Batchgrootte, uitval en tijdperken
    • Modelparameters, datasetgrootte en rekenkracht
    • Leersnelheid, gewichtsverval en diepte
    • GPU-aantal, geheugen en latentie
  3. How can a scaling-law fit help when planning a larger training run?
    • It guarantees the final benchmark score
    • It eliminates the need for validation
    • It can inform an extrapolation from smaller experiments, subject to the tested setup
    • It predicts results exactly for any dataset or architecture
  4. Wat vertegenwoordigt de constante (onherleidbare) term in een verliesformule op basis van de schaalwet?
    • Een softwarefout
    • Het leerpercentage
    • Het aantal GPU's
    • De intrinsieke entropie van de gegevens die geen enkel model kan verslaan
  5. Why can absolute loss reductions become smaller as compute keeps increasing under a power-law fit?
    • The reducible loss term shrinks while the loss approaches its floor
    • The data is removed after each compute increase
    • The model stops using parameters
    • Power laws require loss to increase over time
  6. Welke trend duwt het veld verder dan de simpele ‘groter is beter’ schaalvergroting?
    • GPU's worden gratis
    • Schaarste aan hoogwaardige data plus energie- en kostenbeperkingen
    • Er wordt onbeperkt tekst van hoge kwaliteit weergegeven
    • Verliescurven veranderen in rechte verticale lijnen
  7. What did the original Kaplan study say about architecture details such as width and depth within its tested range?
    • They always dominated model size, data, and compute
    • They made loss independent of data
    • They had relatively small effects compared with the studied scaling variables
    • They guaranteed the same performance for all architectures
  8. What compute-allocation tendency did the original Kaplan paper report?
    • Every model should be trained to zero loss
    • Small models always use less compute at equal loss
    • Training data has no effect on compute allocation
    • Large models could be more sample-efficient and compute-efficient training could stop before convergence