Gids-gekoppelde quiz · Middelmatig Niveau
Gemiddelde precisie en PR-AUC-quiz
Oefen met afwegingen tussen precisie en herinnering, berekeningen met gemiddelde nauwkeurigheid en prevalentie-effecten bij het evalueren van modellen die zeldzame positieve resultaten opleveren.
Vraag 1 van 8
Welke hoeveelheid meet precisie voor een geselecteerde beoordelingswachtrij?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke hoeveelheid meet precisie voor een geselecteerde beoordelingswachtrij?
- The fraction of all positive cases that were selected
- The fraction of selected cases that are positive
- The fraction of all negative cases that were excluded
- The average score assigned to every unselected case
- In een ranglijst zonder gelijke scores zijn de enige positieve punten de eerste en de derde. Welke gemiddelde nauwkeurigheid volgt?
- 0,5
- 0.667
- 1,0
- About 0.833
- Waarom kan de trapeziumvormige PR-AUC afwijken van de gemiddelde nauwkeurigheid?
- They use different interpolation and summation rules
- Average precision averages precision equally across every threshold
- Trapezoidal PR-AUC weights only thresholds where a positive case enters
- Average precision always evaluates exactly one decision threshold
- Welke invoergegevens behouden de rangschikkingsinformatie die nodig is voor gemiddelde nauwkeurigheid?
- Only the final hard decisions and their total count
- Observed labels and one shared threshold, without per-case scores
- Observed labels and model prediction scores
- Only a confusion matrix at one threshold
- Twee datasets hebben een zeer verschillende prevalentie in de positieve klasse. Wat moet er gepaard gaan met een vergelijking van hun precisie-herinneringsscores?
- Only overall accuracy on each dataset
- The positive fractions and evaluation sampling designs
- Only whether the two models use the same threshold
- Only whether the predicted scores occupy the same numeric range
- What happens to recall as a score threshold is lowered and more cases are included?
- It must strictly increase at every step
- It can decrease when a negative case is added
- It must become identical to precision
- It cannot decrease
- Why must tied prediction scores be handled carefully when calculating average precision?
- Equal-score cases cross a threshold together
- Changing the order of tied rows always leaves the no-ties rank shortcut unchanged
- A threshold can select tied positives before tied negatives
- Tied examples should each receive a different threshold based on their true labels
- A model has high average precision. Which deployment question still needs a separate check?
- Whether the model achieved a useful summary across thresholds
- Whether the reported summary used precision and recall
- Whether precision and workload are acceptable at the chosen operating threshold
- Whether recall increases were used as weights in the reported AP calculation