Prueba de precisión promedio y PR-AUC

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué cantidad mide la precisión para una cola de revisión seleccionada?
   • La fracción de todos los casos positivos que fueron seleccionados.
   • La fracción de casos seleccionados que son positivos.
   • La fracción de todos los casos negativos que fueron excluidos.
   • La puntuación media asignada a cada caso no seleccionado.
2. En un ranking sin empates, los únicos puntos positivos son el primero y el tercero. ¿Qué precisión promedio sigue?
   • 0,5
   • 0,667
   • 1.0
   • Aproximadamente 0,833
3. ¿Por qué el PR-AUC trapezoidal puede diferir de la precisión promedio?
   • Usan diferentes reglas de interpolación y suma.
   • La precisión promedio promedia la precisión por igual en todos los umbrales
   • El PR-AUC trapezoidal pondera solo los umbrales donde ingresa un caso positivo
   • La precisión promedio siempre evalúa exactamente un umbral de decisión
4. ¿Qué entradas conservan la información de clasificación necesaria para una precisión promedio?
   • Sólo las decisiones finales difíciles y su recuento total.
   • Etiquetas observadas y un umbral compartido, sin puntuaciones por caso
   • Etiquetas observadas y puntuaciones de predicción del modelo.
   • Sólo una matriz de confusión en un umbral
5. Dos conjuntos de datos tienen una prevalencia de clases positivas muy diferente. ¿Qué debería acompañar a una comparación de sus puntuaciones de recuerdo de precisión?
   • Sólo precisión general en cada conjunto de datos
   • Las fracciones positivas y los diseños muestrales de evaluación.
   • Solo si los dos modelos usan el mismo umbral
   • Solo si las puntuaciones previstas ocupan el mismo rango numérico
6. ¿Qué sucede con el recuerdo cuando se reduce el umbral de puntuación y se incluyen más casos?
   • Debe aumentar estrictamente en cada paso.
   • Puede disminuir cuando se suma un caso negativo.
   • Debe volverse idéntico a la precisión.
   • It cannot decrease
7. Why must tied prediction scores be handled carefully when calculating average precision?
   • Equal-score cases cross a threshold together
   • Changing the order of tied rows always leaves the no-ties rank shortcut unchanged
   • A threshold can select tied positives before tied negatives
   • Tied examples should each receive a different threshold based on their true labels
8. A model has high average precision. Which deployment question still needs a separate check?
   • Whether the model achieved a useful summary across thresholds
   • Whether the reported summary used precision and recall
   • Whether precision and workload are acceptable at the chosen operating threshold
   • Whether recall increases were used as weights in the reported AP calculation