Викторина, связанная с руководством · Средний Уровень
Тест на среднюю точность и PR-AUC
Практикуйте компромиссы между точностью отзыва, расчетами средней точности и эффектами распространенности при оценке моделей, которые ранжируют редкие положительные результаты.
Вопрос 1 из 8
Какую величину измеряет точность для выбранной очереди проверки?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Какую величину измеряет точность для выбранной очереди проверки?
- The fraction of all positive cases that were selected
- The fraction of selected cases that are positive
- The fraction of all negative cases that were excluded
- The average score assigned to every unselected case
- В рейтинге без равных результатов единственными положительными моментами являются первое и третье места. Какая средняя точность следует?
- 0,5
- 0.667
- 1.0
- About 0.833
- Почему трапецеидальная PR-AUC может отличаться от средней точности?
- They use different interpolation and summation rules
- Average precision averages precision equally across every threshold
- Trapezoidal PR-AUC weights only thresholds where a positive case enters
- Average precision always evaluates exactly one decision threshold
- Какие входные данные сохраняют информацию о ранжировании, необходимую для средней точности?
- Only the final hard decisions and their total count
- Observed labels and one shared threshold, without per-case scores
- Observed labels and model prediction scores
- Only a confusion matrix at one threshold
- Два набора данных имеют очень разную распространенность положительного класса. Что должно сопровождать сравнение их показателей точности запоминания?
- Only overall accuracy on each dataset
- The positive fractions and evaluation sampling designs
- Only whether the two models use the same threshold
- Only whether the predicted scores occupy the same numeric range
- What happens to recall as a score threshold is lowered and more cases are included?
- It must strictly increase at every step
- It can decrease when a negative case is added
- It must become identical to precision
- It cannot decrease
- Why must tied prediction scores be handled carefully when calculating average precision?
- Equal-score cases cross a threshold together
- Changing the order of tied rows always leaves the no-ties rank shortcut unchanged
- A threshold can select tied positives before tied negatives
- Tied examples should each receive a different threshold based on their true labels
- A model has high average precision. Which deployment question still needs a separate check?
- Whether the model achieved a useful summary across thresholds
- Whether the reported summary used precision and recall
- Whether precision and workload are acceptable at the chosen operating threshold
- Whether recall increases were used as weights in the reported AP calculation