แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการทดสอบ A/B สำหรับโมเดล ML
ตรวจสอบพื้นฐานของการทดลองแบบจำลองออนไลน์ รวมถึงการกำหนดแบบสุ่ม การทดสอบสมมติฐาน การจัดสรรแบบปรับเปลี่ยน และราวกั้น
คำถาม 1 ของ 8
เหตุใดทีมจึงทดสอบโมเดล A/B ในการใช้งานจริงแทนที่จะเชื่อถือเมตริกออฟไลน์
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เหตุใดทีมจึงทดสอบโมเดล A/B ในการใช้งานจริงแทนที่จะเชื่อถือเมตริกออฟไลน์
- โมเดลที่มีความแม่นยำแบบออฟไลน์ที่ดีกว่ายังสามารถส่งผลเสียต่อการวัดผลทางธุรกิจจริงได้
- การวัดแบบออฟไลน์เป็นสิ่งผิดกฎหมาย
- การผลิตมีราคาถูกกว่าการทดสอบออฟไลน์
- ไม่มีข้อมูลออฟไลน์
- การสุ่มมอบหมายมีบทบาทอย่างไรในการทดสอบ A/B
- มันทำให้การทดสอบทำงานเร็วขึ้น
- It supports balance between groups in expectation, subject to design and implementation assumptions
- มันจะลบผู้ใช้ที่มีอคติ
- ช่วยลดจำนวนรุ่นที่ต้องการ
- In a model A/B test, what usually happens in the treatment group?
- The candidate scores requests but all outputs are withheld
- Every user is assigned to both models for the same decision
- The candidate model serves user-facing decisions for the randomly assigned group
- The control model is removed before any comparison
- Under a null hypothesis and stated test assumptions, how is a p-value interpreted?
- As the probability that the null hypothesis is true
- As the probability that the treatment caused the observed result
- As the probability that the experiment will replicate
- As the probability of data at least this extreme if the null hypothesis holds
- How can a multi-armed bandit change an experiment while it runs?
- It can allocate more traffic to variants with better observed outcomes and less to others
- It keeps every variant at a fixed equal allocation throughout
- It removes randomization from every assignment
- It guarantees the best variant is identified without uncertainty
- จุดประสงค์ของการวิเคราะห์กำลังก่อนการทดสอบ A/B คืออะไร?
- เพื่อเลือกโลโก้สำหรับการทดสอบ
- เพื่อประเมินจำนวนผู้ใช้ที่จำเป็นในการตรวจจับผลกระทบที่แท้จริงได้อย่างน่าเชื่อถือ
- เพื่อเข้ารหัสการรับส่งข้อมูล
- หากต้องการลบกลุ่มควบคุม
- What does a sample-ratio mismatch (SRM) signal during an A/B test?
- The treatment model is necessarily better
- The experiment has sufficient statistical power
- Observed assignment counts differ materially from the configured allocation, which can indicate a data or randomization problem
- The primary metric improved causally
- Why include guardrail metrics alongside an experiment’s primary success metric?
- To guarantee the candidate wins on every metric
- To replace the primary metric after results are observed
- To avoid defining a decision rule before the test
- To detect meaningful harms in other outcomes even when the primary metric improves