Quiz collegato alla guida · Medio Livello
Quiz sulle leggi di scalabilità per le reti neurali
Verifica in che modo le leggi empiriche di dimensionamento mettono in relazione la perdita del modello linguistico con parametri, dati e calcolo e dove si applicano le relative previsioni.
Domanda 1 di 8
What pattern did Kaplan et al. report for language-model loss as model size, data, or compute increased?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- What pattern did Kaplan et al. report for language-model loss as model size, data, or compute increased?
- Approximate power-law relationships over the tested ranges
- A sudden guaranteed drop to zero
- A fixed increase in loss for every larger model
- Random oscillation with no measurable trend
- A quali tre quantità le leggi di scala originali si riferiscono alla perdita?
- Dimensioni del batch, abbandono ed epoche
- Parametri del modello, dimensioni del set di dati e calcolo
- Tasso di apprendimento, decadimento del peso e profondità
- Conteggio GPU, memoria e latenza
- How can a scaling-law fit help when planning a larger training run?
- It guarantees the final benchmark score
- Elimina la necessità di convalida
- It can inform an extrapolation from smaller experiments, subject to the tested setup
- It predicts results exactly for any dataset or architecture
- Cosa rappresenta il termine costante (irriducibile) in una formula di perdita basata sulla legge di scala?
- Un bug del software
- Il tasso di apprendimento
- Il numero di GPU
- L’entropia intrinseca dei dati che nessun modello può battere
- Why can absolute loss reductions become smaller as compute keeps increasing under a power-law fit?
- The reducible loss term shrinks while the loss approaches its floor
- The data is removed after each compute increase
- The model stops using parameters
- Power laws require loss to increase over time
- Quale tendenza sta spingendo il campo oltre il semplice ridimensionamento del "più grande è meglio"?
- Le GPU diventano gratuite
- Scarsità di dati di alta qualità e limiti di energia e costi
- Visualizzazione illimitata di testo di alta qualità
- Curve di perdita che si trasformano in linee rette verticali
- What did the original Kaplan study say about architecture details such as width and depth within its tested range?
- They always dominated model size, data, and compute
- They made loss independent of data
- They had relatively small effects compared with the studied scaling variables
- They guaranteed the same performance for all architectures
- What compute-allocation tendency did the original Kaplan paper report?
- Every model should be trained to zero loss
- Small models always use less compute at equal loss
- Training data has no effect on compute allocation
- Large models could be more sample-efficient and compute-efficient training could stop before convergence