Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Valószínűség-kalibrációs kvíz
Checks calibration definitions, reliability diagrams, ECE, temperature scaling and why validation quality is distinct from classification accuracy.
kérdés 1 -ból 8
Egy modell jól kalibrált, ha az előrejelzések között 80%-ban magabiztosnak minősíti, a következő esemény következik be:
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Egy modell jól kalibrált, ha az előrejelzések között 80%-ban magabiztosnak minősíti, a következő esemény következik be:
- Az esetek körülbelül 80%-ában
- 100%-ban
- Az esetek körülbelül 20%-ában
- Pontosan egyszer
- Mit tesz a hőmérséklet-skálázás a neurális hálózat kimeneteivel?
- Megváltoztatja, hogy melyik osztály várható
- A logitokat elosztja egy tanult skalárral a softmax előtt, ezzel korrigálja a bizalmat
- Zajt ad az edzéscímkékhez
- Újra betanítja a hálózatot a semmiből
- Mit ábrázol egy megbízhatósági diagram?
- Edzésveszteség versus korszak
- A modell mérete kontra pontosság
- Megjósolt valószínűség versus megfigyelt gyakoriság
- Tanulási sebesség a köteg méretével szemben
- Várható kalibrációs hiba (ECE) intézkedések:
- A modell legjobb 1 pontossága
- A modellben szereplő paraméterek száma
- A színátmenetek szórása
- A súlyozott átlagos eltérés a megbízhatóság és a pontosság között a tárolókban
- A modern mély neurális hálózatokat leggyakrabban a következőképpen írják le:
- Túlságosan magabiztos
- Nem magabiztos
- Alapértelmezés szerint tökéletesen kalibrálva
- Nem lehet a valószínűségeket kiadni
- Miért kell még mindig kalibrálni egy nagyon pontos modellt?
- A pontos modellek mindig nulla kalibrációs hibával rendelkeznek
- A pontosság és a kalibráció különálló tulajdonságok
- A kalibráció csak a regresszió szempontjából számít
- A pontosság garantálja az őszinte valószínűségeket
- On which data is temperature scaling typically fit in the guide’s calibration workflow?
- The final test set using classification accuracy
- Only the training labels without model outputs
- A held-out validation set using negative log-likelihood
- The model’s hidden weights using mean squared error
- Why can temperature scaling improve calibration without changing top-1 accuracy?
- It changes the model’s predicted class labels randomly
- It retrains the feature extractor
- It replaces every logit with the same value
- Dividing logits by a positive scalar changes confidence but preserves their ordering