Quiz collegato alla guida · Medio Livello

Quiz sulla scala inversa nei modelli linguistici

Interpreta il ridimensionamento inverso con punteggi delle attività, controlli di serie di modelli, modelli memorizzati, distrattori, incertezza e possibili inversioni di tendenza.

Domanda 1 di 8

Tre modelli sempre più grandi in una serie comparabile ottengono 80%, 70% e 60% sullo stesso compito di accuratezza. Cosa mostra questo?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Tre modelli sempre più grandi in una serie comparabile ottengono 80%, 70% e 60% sullo stesso compito di accuratezza. Cosa mostra questo?
    • An inverse trend on that task over the tested sizes
    • That every capability declines with model size
    • That all three models have identical training loss
    • That a larger fourth model must score below 60%
  2. Perché una perdita media di next-token migliore può coesistere con prestazioni peggiori su un compito di esecuzione di istruzioni?
    • The two measures always evaluate the same objective
    • Predicting familiar text and following a changed instruction can favor different outputs
    • Lower next-token loss always means worse language modeling
    • Task accuracy is independent of the model’s output
  3. Un prompt fornisce una conclusione insolita a una frase familiare, ma il modello usa la conclusione familiare. Quale modello di fallimento proposto illustra questo?
    • An increase in accelerator memory
    • A reduction in vocabulary size
    • A memorized continuation taking precedence over the supplied instruction
    • A guaranteed improvement in task accuracy
  4. Un quarto modello più grande ottiene un punteggio dell'85% dopo la sequenza 80%, 70% e 60%. Come dovrebbe essere riportato nella valutazione?
    • Discard the fourth result to preserve the original claim
    • Declare that the earlier measurements never happened
    • Predict all future models will score exactly 85%
    • Report the reversal and restrict the earlier inverse claim to its measured range
  5. Perché confrontare modelli piccoli e grandi non correlati complica una tesi secondo cui la dimensione ha causato un cambiamento di punteggio?
    • Training data, objectives, and other choices may also differ
    • Different model names make evaluation impossible
    • The smaller model must have seen less data
    • Parameter counts determine every training choice
  6. What can an easier distractor task cause in an inverse-scaling evaluation?
    • The evaluation code must stop running
    • A model may become better at the distracting pattern instead of the intended task
    • All answer options become equally correct
    • The true task is automatically solved
  7. Which information should be preserved so another team can check the evaluation?
    • Only the largest model’s score
    • Only a summary claiming bigger is worse
    • Prompts, answer format, scoring code, model identifiers, and tested sizes
    • Only the number of generated tokens
  8. If a model’s loss falls as scale increases, can that decline alone be called inverse scaling?
    • Yes, every downward curve is inverse scaling
    • Yes, lower loss means fewer correct predictions by definition
    • Yes, model size determines the direction of every metric
    • No; lower loss normally means improvement, so metric direction matters