แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบความแม่นยำโดยเฉลี่ยและ PR-AUC
ฝึกฝนข้อดีของการเรียกคืนที่แม่นยำ การคำนวณด้วยความแม่นยำโดยเฉลี่ย และผลกระทบจากความแพร่หลาย เมื่อประเมินแบบจำลองที่จัดอันดับผลบวกที่หาได้ยาก
คำถาม 1 ของ 8
ปริมาณใดที่วัดได้อย่างแม่นยำสำหรับคิวการตรวจสอบที่เลือก
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ปริมาณใดที่วัดได้อย่างแม่นยำสำหรับคิวการตรวจสอบที่เลือก
- The fraction of all positive cases that were selected
- The fraction of selected cases that are positive
- The fraction of all negative cases that were excluded
- The average score assigned to every unselected case
- ในการจัดอันดับที่ไม่มีคะแนนเสมอกัน สิ่งที่เป็นบวกเพียงอย่างเดียวคือที่หนึ่งและสาม ความแม่นยำเฉลี่ยใดที่ตามมา?
- 0.5
- 0.667
- 1.0
- About 0.833
- เหตุใด PR-AUC สี่เหลี่ยมคางหมูจึงแตกต่างจากความแม่นยำโดยเฉลี่ย
- They use different interpolation and summation rules
- Average precision averages precision equally across every threshold
- Trapezoidal PR-AUC weights only thresholds where a positive case enters
- Average precision always evaluates exactly one decision threshold
- อินพุตใดจะรักษาข้อมูลการจัดอันดับที่จำเป็นสำหรับความแม่นยำโดยเฉลี่ย
- Only the final hard decisions and their total count
- Observed labels and one shared threshold, without per-case scores
- Observed labels and model prediction scores
- Only a confusion matrix at one threshold
- ชุดข้อมูลสองชุดมีความแพร่หลายในระดับบวกที่แตกต่างกันมาก สิ่งที่ควรมาพร้อมกับการเปรียบเทียบคะแนนการเรียกคืนที่แม่นยำ
- Only overall accuracy on each dataset
- The positive fractions and evaluation sampling designs
- Only whether the two models use the same threshold
- Only whether the predicted scores occupy the same numeric range
- What happens to recall as a score threshold is lowered and more cases are included?
- It must strictly increase at every step
- It can decrease when a negative case is added
- It must become identical to precision
- It cannot decrease
- Why must tied prediction scores be handled carefully when calculating average precision?
- Equal-score cases cross a threshold together
- Changing the order of tied rows always leaves the no-ties rank shortcut unchanged
- A threshold can select tied positives before tied negatives
- Tied examples should each receive a different threshold based on their true labels
- A model has high average precision. Which deployment question still needs a separate check?
- Whether the model achieved a useful summary across thresholds
- Whether the reported summary used precision and recall
- Whether precision and workload are acceptable at the chosen operating threshold
- Whether recall increases were used as weights in the reported AP calculation