Quiz collegato alla guida · Medio Livello
Quiz sulla scala inversa nei modelli linguistici
Interpreta il ridimensionamento inverso con punteggi delle attività, controlli di serie di modelli, modelli memorizzati, distrattori, incertezza e possibili inversioni di tendenza.
Domanda 1 di 8
Tre modelli sempre più grandi in una serie comparabile ottengono 80%, 70% e 60% sullo stesso compito di accuratezza. Cosa mostra questo?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Tre modelli sempre più grandi in una serie comparabile ottengono 80%, 70% e 60% sullo stesso compito di accuratezza. Cosa mostra questo?
- An inverse trend on that task over the tested sizes
- That every capability declines with model size
- That all three models have identical training loss
- That a larger fourth model must score below 60%
- Perché una perdita media di next-token migliore può coesistere con prestazioni peggiori su un compito di esecuzione di istruzioni?
- The two measures always evaluate the same objective
- Predicting familiar text and following a changed instruction can favor different outputs
- Lower next-token loss always means worse language modeling
- Task accuracy is independent of the model’s output
- Un prompt fornisce una conclusione insolita a una frase familiare, ma il modello usa la conclusione familiare. Quale modello di fallimento proposto illustra questo?
- An increase in accelerator memory
- A reduction in vocabulary size
- A memorized continuation taking precedence over the supplied instruction
- A guaranteed improvement in task accuracy
- Un quarto modello più grande ottiene un punteggio dell'85% dopo la sequenza 80%, 70% e 60%. Come dovrebbe essere riportato nella valutazione?
- Discard the fourth result to preserve the original claim
- Declare that the earlier measurements never happened
- Predict all future models will score exactly 85%
- Report the reversal and restrict the earlier inverse claim to its measured range
- Perché confrontare modelli piccoli e grandi non correlati complica una tesi secondo cui la dimensione ha causato un cambiamento di punteggio?
- Training data, objectives, and other choices may also differ
- Different model names make evaluation impossible
- The smaller model must have seen less data
- Parameter counts determine every training choice
- What can an easier distractor task cause in an inverse-scaling evaluation?
- The evaluation code must stop running
- A model may become better at the distracting pattern instead of the intended task
- All answer options become equally correct
- The true task is automatically solved
- Which information should be preserved so another team can check the evaluation?
- Only the largest model’s score
- Only a summary claiming bigger is worse
- Prompts, answer format, scoring code, model identifiers, and tested sizes
- Only the number of generated tokens
- If a model’s loss falls as scale increases, can that decline alone be called inverse scaling?
- Yes, every downward curve is inverse scaling
- Yes, lower loss means fewer correct predictions by definition
- Yes, model size determines the direction of every metric
- No; lower loss normally means improvement, so metric direction matters