Quiz collegato alla guida · Medio Livello
Quiz sulla calibrazione delle probabilità
Controlla le definizioni di calibrazione, i diagrammi di affidabilità, l'ECE, la scalatura della temperatura e il motivo per cui la qualità della convalida è diversa dall'accuratezza della classificazione.
Domanda 1 di 8
Un modello è ben calibrato se, tra le previsioni che etichetta come sicure all’80%, si verifica l’evento:
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Un modello è ben calibrato se, tra le previsioni che etichetta come sicure all’80%, si verifica l’evento:
- Circa l'80% delle volte
- Il 100% delle volte
- Circa il 20% delle volte
- Esattamente una volta
- Che effetto ha il ridimensionamento della temperatura sugli output di una rete neurale?
- Cambia la classe prevista
- Divide i logit per uno scalare appreso prima del softmax, regolando la confidenza
- Aggiunge rumore alle etichette di addestramento
- Riqualifica la rete da zero
- Cosa traccia un diagramma di affidabilità?
- Perdita di allenamento rispetto all'epoca
- Dimensioni del modello rispetto alla precisione
- Probabilità prevista rispetto alla frequenza osservata
- Tasso di apprendimento rispetto alla dimensione del batch
- Misure di errore di calibrazione previsto (ECE):
- La massima precisione del modello
- Il numero di parametri nel modello
- La varianza dei gradienti
- Il divario medio ponderato tra confidenza e accuratezza tra i contenitori
- Le moderne reti neurali profonde sono spesso descritte come:
- Troppo sicuro
- Poco sicuro di sé
- Perfettamente calibrato per impostazione predefinita
- Impossibile generare probabilità
- Perché un modello altamente accurato può comunque necessitare di calibrazione?
- I modelli accurati hanno sempre un errore di calibrazione pari a zero
- Precisione e calibrazione sono proprietà distinte
- La calibrazione è importante solo per la regressione
- L’accuratezza garantisce probabilità oneste
- On which data is temperature scaling typically fit in the guide’s calibration workflow?
- The final test set using classification accuracy
- Only the training labels without model outputs
- A held-out validation set using negative log-likelihood
- The model’s hidden weights using mean squared error
- Why can temperature scaling improve calibration without changing top-1 accuracy?
- It changes the model’s predicted class labels randomly
- It retrains the feature extractor
- It replaces every logit with the same value
- Dividing logits by a positive scalar changes confidence but preserves their ordering