Gids-gekoppelde quiz · Middelmatig Niveau
Brier Scorequiz
Oefen Brier-scoreberekeningen, waarschijnlijkheidskalibratie en basislijnvergelijkingen met behulp van leveringsvoorspellingen en binaire uitkomsten.
Vraag 1 van 8
Een pakket heeft 70% kans om te laat te zijn en is ook te laat. Welk binair Brier-verlies volgt uit de formule in de gids?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Een pakket heeft 70% kans om te laat te zijn en is ook te laat. Welk binair Brier-verlies volgt uit de formule in de gids?
- 0.30
- 0.09
- 0.49
- 0.70
- Voor de twee pakketten met verliezen van 0,04 en 0,09, welke berekening levert hun gecombineerde Brier-score op?
- Tel de verliezen bij elkaar op om 0,13 te krijgen
- Trek de verliezen van elkaar af om 0,05 te krijgen
- Neem het grootste verlies, 0,09
- Bereken het gemiddelde van de verliezen om 0,065 te krijgen
- Een bezorgmodel rapporteert kansen op te laat zijn, maar de uitkomstkolom gebruikt 1 voor tijdige bezorging. Wat moet de evaluator als eerste corrigeren?
- Zorg dat de kans en de uitkomst naar dezelfde gebeurtenis verwijzen
- Rond alle kansen af op gehele getallen
- Gebruik alleen pakketten waarvan werd voorspeld dat ze te laat zouden zijn
- Vervang het gemiddelde door het grootste verlies
- Waarom kan de Brier-score van een model verbeteren zonder dat de kalibratie verbetert?
- De score negeert voorspelde kansen
- De score beloont altijd een hogere mate van zekerheid
- Een betere scheiding van risicogroepen kan de score ook verbeteren
- Kalibratie heeft alleen invloed op multiclass-voorspellingen
- Wanneer escalaties zeldzaam zijn, welke vergelijking maakt de lage Brier-score van een ticketmodel dan informatiever?
- Het vergelijken met een model dat is geëvalueerd op een ander gebeurtenispercentage
- Het vergelijken met een baseline met een constant percentage op dezelfde tickets
- Alleen tickets vergelijken waarvan de voorspelde kans groter is dan 0,5
- Alleen de percentages correcte labels van de modellen vergelijken
- Welk onderdeel van de klassieke Brier-decompositie hangt af van het algemene gebeurtenispercentage?
- Reliability
- Resolution
- Het verschil tussen betrouwbaarheid en resolutie
- Uncertainty
- Waarom zou een evaluator 0,6 en 0,9 moeten behouden in plaats van beide bezorgvoorspellingen om te zetten naar het label 'te laat' vóór het scoren?
- Afronding verwijdert de betrouwbaarheidsinformatie die de Brier-score evalueert
- Drempelwaardevorming behoudt alle waarschijnlijkheidsinformatie die nodig is voor de score
- Afronding maakt de score tot een directe maatstaf voor waarschijnlijkheidskalibratie
- Alleen voorspellingen boven de drempelwaarde moeten worden behouden
- Twee softwarerapporten gebruiken verschillende binaire en multiclass Brier-conventies. Welk detail moet worden gecontroleerd voordat hun getallen worden vergeleken?
- Of beide rapporten dezelfde classificatiedrempel gebruiken
- Of beide modellen dezelfde nauwkeurigheid hebben
- De scorenormalisatie en de volgorde van klassen
- Of elke klasse hetzelfde aantal voorspellingen ontvangt