Gids-gekoppelde quiz · Middelmatig Niveau

Brier Scorequiz

Oefen Brier-scoreberekeningen, waarschijnlijkheidskalibratie en basislijnvergelijkingen met behulp van leveringsvoorspellingen en binaire uitkomsten.

Gerelateerde gidspadenBrier-score
Vraag 1 van 8

Een pakket heeft 70% kans om te laat te zijn en is ook te laat. Welk binair Brier-verlies volgt uit de formule in de gids?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Een pakket heeft 70% kans om te laat te zijn en is ook te laat. Welk binair Brier-verlies volgt uit de formule in de gids?
    • 0.30
    • 0.09
    • 0.49
    • 0.70
  2. Voor de twee pakketten met verliezen van 0,04 en 0,09, welke berekening levert hun gecombineerde Brier-score op?
    • Tel de verliezen bij elkaar op om 0,13 te krijgen
    • Trek de verliezen van elkaar af om 0,05 te krijgen
    • Neem het grootste verlies, 0,09
    • Bereken het gemiddelde van de verliezen om 0,065 te krijgen
  3. Een bezorgmodel rapporteert kansen op te laat zijn, maar de uitkomstkolom gebruikt 1 voor tijdige bezorging. Wat moet de evaluator als eerste corrigeren?
    • Zorg dat de kans en de uitkomst naar dezelfde gebeurtenis verwijzen
    • Rond alle kansen af op gehele getallen
    • Gebruik alleen pakketten waarvan werd voorspeld dat ze te laat zouden zijn
    • Vervang het gemiddelde door het grootste verlies
  4. Waarom kan de Brier-score van een model verbeteren zonder dat de kalibratie verbetert?
    • De score negeert voorspelde kansen
    • De score beloont altijd een hogere mate van zekerheid
    • Een betere scheiding van risicogroepen kan de score ook verbeteren
    • Kalibratie heeft alleen invloed op multiclass-voorspellingen
  5. Wanneer escalaties zeldzaam zijn, welke vergelijking maakt de lage Brier-score van een ticketmodel dan informatiever?
    • Het vergelijken met een model dat is geëvalueerd op een ander gebeurtenispercentage
    • Het vergelijken met een baseline met een constant percentage op dezelfde tickets
    • Alleen tickets vergelijken waarvan de voorspelde kans groter is dan 0,5
    • Alleen de percentages correcte labels van de modellen vergelijken
  6. Welk onderdeel van de klassieke Brier-decompositie hangt af van het algemene gebeurtenispercentage?
    • Reliability
    • Resolution
    • Het verschil tussen betrouwbaarheid en resolutie
    • Uncertainty
  7. Waarom zou een evaluator 0,6 en 0,9 moeten behouden in plaats van beide bezorgvoorspellingen om te zetten naar het label 'te laat' vóór het scoren?
    • Afronding verwijdert de betrouwbaarheidsinformatie die de Brier-score evalueert
    • Drempelwaardevorming behoudt alle waarschijnlijkheidsinformatie die nodig is voor de score
    • Afronding maakt de score tot een directe maatstaf voor waarschijnlijkheidskalibratie
    • Alleen voorspellingen boven de drempelwaarde moeten worden behouden
  8. Twee softwarerapporten gebruiken verschillende binaire en multiclass Brier-conventies. Welk detail moet worden gecontroleerd voordat hun getallen worden vergeleken?
    • Of beide rapporten dezelfde classificatiedrempel gebruiken
    • Of beide modellen dezelfde nauwkeurigheid hebben
    • De scorenormalisatie en de volgorde van klassen
    • Of elke klasse hetzelfde aantal voorspellingen ontvangt