Kvíz spojený s průvodcem · Střední úroveň
Pravděpodobnostní kalibrační kvíz
Kontroluje definice kalibrace, diagramy spolehlivosti, ECE, teplotní škálování a proč se kvalita validace liší od přesnosti klasifikace.
Otázka 1 z 8
Model je dobře zkalibrován, pokud mezi předpověďmi, které označuje 80% spolehlivost, dojde k události:
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Model je dobře zkalibrován, pokud mezi předpověďmi, které označuje 80% spolehlivost, dojde k události:
- Asi 80 % času
- 100% času
- Asi 20 % času
- Přesně jednou
- Co dělá teplotní škálování s výstupy neuronové sítě?
- Změní, která třída je předpovězena
- Rozdělí logity naučeným skalárem před softmaxem, upraví spolehlivost
- Přidá hluk do tréninkových štítků
- Rekvalifikuje síť od nuly
- Co vykresluje diagram spolehlivosti?
- Tréninková ztráta versus epocha
- Velikost modelu versus přesnost
- Předpokládaná pravděpodobnost versus pozorovaná frekvence
- Rychlost učení versus velikost dávky
- Opatření očekávané chyby kalibrace (ECE):
- Nejvyšší přesnost modelu
- Počet parametrů v modelu
- Rozptyl gradientů
- Vážená průměrná mezera mezi spolehlivostí a přesností napříč zásobníky
- Moderní hluboké neuronové sítě jsou nejčastěji popisovány jako:
- Přehnaně sebevědomý
- Nedůvěřivý
- Ve výchozím nastavení dokonale zkalibrováno
- Nelze zobrazit pravděpodobnosti
- Proč může vysoce přesný model stále potřebovat kalibraci?
- Přesné modely mají vždy nulovou chybu kalibrace
- Přesnost a kalibrace jsou odlišné vlastnosti
- Kalibrace má význam pouze pro regresi
- Přesnost zaručuje poctivé pravděpodobnosti
- Na jakých datech se v kalibračním workflow průvodce obvykle provádí škálování teploty (temperature scaling)?
- Na finální testovací sadě pomocí přesnosti klasifikace
- Pouze na trénovacích labelech bez výstupů modelu
- Na vyčleněné validační sadě pomocí negativní logaritmické věrohodnosti (negative log-likelihood)
- Na skrytých vahách modelu pomocí střední kvadratické chyby
- Proč může škálování teploty zlepšit kalibraci, aniž by se změnila přesnost top-1?
- Náhodně mění predikované třídy modelu
- Provádí dotrénování extraktoru příznaků
- Nahrazuje každý logit stejnou hodnotou
- Vydělení logitů kladným skalárem změní konfidenci, ale zachová jejich pořadí