Gids-gekoppelde quiz · Middelmatig Niveau

Gemiddelde precisie en PR-AUC-quiz

Oefen met afwegingen tussen precisie en herinnering, berekeningen met gemiddelde nauwkeurigheid en prevalentie-effecten bij het evalueren van modellen die zeldzame positieve resultaten opleveren.

Gerelateerde gidspadenGemiddelde precisie en PR Auc
Vraag 1 van 8

Welke hoeveelheid meet precisie voor een geselecteerde beoordelingswachtrij?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke hoeveelheid meet precisie voor een geselecteerde beoordelingswachtrij?
    • The fraction of all positive cases that were selected
    • The fraction of selected cases that are positive
    • The fraction of all negative cases that were excluded
    • The average score assigned to every unselected case
  2. In een ranglijst zonder gelijke scores zijn de enige positieve punten de eerste en de derde. Welke gemiddelde nauwkeurigheid volgt?
    • 0,5
    • 0.667
    • 1,0
    • About 0.833
  3. Waarom kan de trapeziumvormige PR-AUC afwijken van de gemiddelde nauwkeurigheid?
    • They use different interpolation and summation rules
    • Average precision averages precision equally across every threshold
    • Trapezoidal PR-AUC weights only thresholds where a positive case enters
    • Average precision always evaluates exactly one decision threshold
  4. Welke invoergegevens behouden de rangschikkingsinformatie die nodig is voor gemiddelde nauwkeurigheid?
    • Only the final hard decisions and their total count
    • Observed labels and one shared threshold, without per-case scores
    • Observed labels and model prediction scores
    • Only a confusion matrix at one threshold
  5. Twee datasets hebben een zeer verschillende prevalentie in de positieve klasse. Wat moet er gepaard gaan met een vergelijking van hun precisie-herinneringsscores?
    • Only overall accuracy on each dataset
    • The positive fractions and evaluation sampling designs
    • Only whether the two models use the same threshold
    • Only whether the predicted scores occupy the same numeric range
  6. What happens to recall as a score threshold is lowered and more cases are included?
    • It must strictly increase at every step
    • It can decrease when a negative case is added
    • It must become identical to precision
    • It cannot decrease
  7. Why must tied prediction scores be handled carefully when calculating average precision?
    • Equal-score cases cross a threshold together
    • Changing the order of tied rows always leaves the no-ties rank shortcut unchanged
    • A threshold can select tied positives before tied negatives
    • Tied examples should each receive a different threshold based on their true labels
  8. A model has high average precision. Which deployment question still needs a separate check?
    • Whether the model achieved a useful summary across thresholds
    • Whether the reported summary used precision and recall
    • Whether precision and workload are acceptable at the chosen operating threshold
    • Whether recall increases were used as weights in the reported AP calculation