Quiz collegato alla guida · Medio Livello

Quiz sulla calibrazione delle probabilità

Controlla le definizioni di calibrazione, i diagrammi di affidabilità, l'ECE, la scalatura della temperatura e il motivo per cui la qualità della convalida è diversa dall'accuratezza della classificazione.

Percorsi guida correlatiCalibrazione della probabilità
Domanda 1 di 8

Un modello è ben calibrato se, tra le previsioni che etichetta come sicure all’80%, si verifica l’evento:

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Un modello è ben calibrato se, tra le previsioni che etichetta come sicure all’80%, si verifica l’evento:
    • Circa l'80% delle volte
    • Il 100% delle volte
    • Circa il 20% delle volte
    • Esattamente una volta
  2. Che effetto ha il ridimensionamento della temperatura sugli output di una rete neurale?
    • Cambia la classe prevista
    • Divide i logit per uno scalare appreso prima del softmax, regolando la confidenza
    • Aggiunge rumore alle etichette di addestramento
    • Riqualifica la rete da zero
  3. Cosa traccia un diagramma di affidabilità?
    • Perdita di allenamento rispetto all'epoca
    • Dimensioni del modello rispetto alla precisione
    • Probabilità prevista rispetto alla frequenza osservata
    • Tasso di apprendimento rispetto alla dimensione del batch
  4. Misure di errore di calibrazione previsto (ECE):
    • La massima precisione del modello
    • Il numero di parametri nel modello
    • La varianza dei gradienti
    • Il divario medio ponderato tra confidenza e accuratezza tra i contenitori
  5. Le moderne reti neurali profonde sono spesso descritte come:
    • Troppo sicuro
    • Poco sicuro di sé
    • Perfettamente calibrato per impostazione predefinita
    • Impossibile generare probabilità
  6. Perché un modello altamente accurato può comunque necessitare di calibrazione?
    • I modelli accurati hanno sempre un errore di calibrazione pari a zero
    • Precisione e calibrazione sono proprietà distinte
    • La calibrazione è importante solo per la regressione
    • L’accuratezza garantisce probabilità oneste
  7. On which data is temperature scaling typically fit in the guide’s calibration workflow?
    • The final test set using classification accuracy
    • Only the training labels without model outputs
    • A held-out validation set using negative log-likelihood
    • The model’s hidden weights using mean squared error
  8. Why can temperature scaling improve calibration without changing top-1 accuracy?
    • It changes the model’s predicted class labels randomly
    • It retrains the feature extractor
    • It replaces every logit with the same value
    • Dividing logits by a positive scalar changes confidence but preserves their ordering