Średnia precyzja i quiz PR-AUC

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaką ilość mierzy precyzja dla wybranej kolejki recenzji?
   • The fraction of all positive cases that were selected
   • The fraction of selected cases that are positive
   • The fraction of all negative cases that were excluded
   • The average score assigned to every unselected case
2. W rankingu bez remisowych wyników jedynymi pozytywami są pierwsze i trzecie miejsce. Jaka średnia precyzja następuje?
   • 0,5
   • 0.667
   • 1,0
   • About 0.833
3. Dlaczego trapezoidalny PR-AUC może różnić się od średniej precyzji?
   • They use different interpolation and summation rules
   • Average precision averages precision equally across every threshold
   • Trapezoidal PR-AUC weights only thresholds where a positive case enters
   • Average precision always evaluates exactly one decision threshold
4. Które dane wejściowe zachowują informacje rankingowe potrzebne do uzyskania średniej precyzji?
   • Only the final hard decisions and their total count
   • Observed labels and one shared threshold, without per-case scores
   • Observed labels and model prediction scores
   • Only a confusion matrix at one threshold
5. Dwa zbiory danych charakteryzują się bardzo różną częstością występowania w klasie pozytywnej. Co powinno towarzyszyć porównaniu ich wyników w zakresie precyzji zapamiętywania?
   • Only overall accuracy on each dataset
   • The positive fractions and evaluation sampling designs
   • Only whether the two models use the same threshold
   • Only whether the predicted scores occupy the same numeric range
6. What happens to recall as a score threshold is lowered and more cases are included?
   • It must strictly increase at every step
   • It can decrease when a negative case is added
   • It must become identical to precision
   • It cannot decrease
7. Why must tied prediction scores be handled carefully when calculating average precision?
   • Equal-score cases cross a threshold together
   • Changing the order of tied rows always leaves the no-ties rank shortcut unchanged
   • A threshold can select tied positives before tied negatives
   • Tied examples should each receive a different threshold based on their true labels
8. A model has high average precision. Which deployment question still needs a separate check?
   • Whether the model achieved a useful summary across thresholds
   • Whether the reported summary used precision and recall
   • Whether precision and workload are acceptable at the chosen operating threshold
   • Whether recall increases were used as weights in the reported AP calculation