Gids-gekoppelde quiz · Middelmatig Niveau
Waarschijnlijkheidskalibratiequiz
Controleert kalibratiedefinities, betrouwbaarheidsdiagrammen, ECE, temperatuurschaling en waarom validatiekwaliteit verschilt van classificatienauwkeurigheid.
Vraag 1 van 8
Een model is goed gekalibreerd als de gebeurtenis zich volgens de voorspellingen voor 80% zeker voordoet:
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Een model is goed gekalibreerd als de gebeurtenis zich volgens de voorspellingen voor 80% zeker voordoet:
- Ongeveer 80% van de tijd
- 100% van de tijd
- Ongeveer 20% van de tijd
- Precies één keer
- Wat doet temperatuurschaling met de output van een neuraal netwerk?
- Verandert welke klasse wordt voorspeld
- Verdeelt de logits door een geleerde scalair vóór softmax, waardoor het vertrouwen wordt aangepast
- Voegt ruis toe aan de trainingslabels
- Hertraint het netwerk vanaf nul
- Wat wordt in een betrouwbaarheidsdiagram weergegeven?
- Trainingsverlies versus tijdperk
- Modelgrootte versus nauwkeurigheid
- Voorspelde waarschijnlijkheid versus waargenomen frequentie
- Leersnelheid versus batchgrootte
- Maatregelen voor verwachte kalibratiefouten (ECE):
- De top-1 nauwkeurigheid van het model
- Het aantal parameters in het model
- De variantie van de hellingen
- De gewogen gemiddelde kloof tussen vertrouwen en nauwkeurigheid over verschillende bins heen
- Moderne diepe neurale netwerken worden meestal omschreven als:
- Overmoedig
- Weinig zelfvertrouwen
- Standaard perfect gekalibreerd
- Kan waarschijnlijkheden niet weergeven
- Waarom kan een zeer nauwkeurig model nog steeds gekalibreerd worden?
- Nauwkeurige modellen hebben altijd een kalibratiefout van nul
- Nauwkeurigheid en kalibratie zijn verschillende eigenschappen
- Kalibratie is alleen van belang voor regressie
- Nauwkeurigheid garandeert eerlijke waarschijnlijkheden
- On which data is temperature scaling typically fit in the guide’s calibration workflow?
- The final test set using classification accuracy
- Only the training labels without model outputs
- A held-out validation set using negative log-likelihood
- The model’s hidden weights using mean squared error
- Why can temperature scaling improve calibration without changing top-1 accuracy?
- It changes the model’s predicted class labels randomly
- It retrains the feature extractor
- It replaces every logit with the same value
- Dividing logits by a positive scalar changes confidence but preserves their ordering