แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบประเมินแบบจำลองออนไลน์และออฟไลน์

แยกแยะประสิทธิภาพของข้อมูลในอดีตจากผลกระทบที่เกิดขึ้นจริง และระบุสมมติฐานและการป้องกันในการเล่นซ้ำออฟไลน์และการทดลองออนไลน์

เส้นทางแนะนำที่เกี่ยวข้องการประเมินแบบจำลองออนไลน์และออฟไลน์
คำถาม 1 ของ 8

การประเมินแบบออฟไลน์วัดผลโดยตรงจากอะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การประเมินแบบออฟไลน์วัดผลโดยตรงจากอะไร?
    • เมตริกของผู้สมัครบนชุดข้อมูลประวัติศาสตร์หรือชุดข้อมูลที่แยกไว้เฉพาะ
    • ผลกระทบเชิงเหตุและผลสำหรับผู้ใช้ในอนาคตทุกคน
    • ผลลัพธ์ที่สมบูรณ์ของผลิตภัณฑ์ในระบบจริง
    • การรับประกันความยุติธรรม
  2. เหตุใดบันทึกระบบแนะนำในอดีตจึงอาจทำให้การประเมินแบบออฟไลน์เกิดความลำเอียง (bias)?
    • ผู้สมัครทุกคนถูกแสดงผลเท่าๆ กัน
    • การมองเห็นก่อนหน้านี้เป็นตัวกำหนดว่ารายการใดจะสามารถรับการโต้ตอบได้
    • ป้ายกำกับคลิกมีความสมบูรณ์เสมอ
    • คะแนนแบบออฟไลน์รวมการสุ่มแบบสด
  3. การทดลองออนไลน์ที่มีการสุ่มอย่างเหมาะสมสามารถประเมินสิ่งใดได้บ้าง?
    • กลไกเชิงเหตุและผลที่แน่นอนของโมเดล
    • ประสิทธิภาพสากลสำหรับประชากรทุกกลุ่ม
    • ผลกระทบเฉลี่ยของการกำหนดกลุ่มสำหรับประชากรที่ผ่านเกณฑ์การทดสอบภายใต้สมมติฐานการออกแบบ
    • ค่าความสูญเสียของชุดทดสอบออฟไลน์
  4. เหตุใดจึงควรตรวจสอบแบบออฟไลน์ก่อนนำไปแสดงผลจริงออนไลน์?
    • สิ่งเหล่านี้ช่วยให้มั่นใจว่าป้ายกำกับในอดีตปราศจากความลำเอียง
    • สิ่งเหล่านี้แทนที่การทดสอบสดทั้งหมด
    • สิ่งเหล่านี้รับประกันว่าจะไม่มีการถดถอยของมาตรการป้องกัน
    • สิ่งเหล่านี้สามารถตรวจจับผู้สมัครที่ทำงานผิดพลาดหรือแย่ได้อย่างชัดเจนด้วยความเสี่ยงต่อผู้ใช้ที่ต่ำกว่า
  5. รูปแบบการปล่อยใช้งานแบบใดที่ช่วยจำกัดการมองเห็นในขณะที่วัดผลผู้สมัครแบบสด?
    • การรับประกันการกำหนดกลุ่มแบบสุ่ม
    • การจำกัดการมองเห็นในขณะที่ติดตามพฤติกรรมแบบสดของผู้สมัคร
    • การวัดความแม่นยำในอดีตเท่านั้น
    • การตัดความจำเป็นในการย้อนกลับ (rollback) ออกไป
  6. Why predeclare primary and guardrail metrics?
    • It makes every metric statistically independent
    • It guarantees enough sample size
    • It reduces post-hoc selection and clarifies success and harm criteria
    • It removes the need for experiment logs
  7. What can offline-online disagreement reveal?
    • That the model is causal
    • That the online test must be false
    • That offline data are useless
    • Distribution, logging, metric or product-interaction mismatch
  8. Why does an online experiment not guarantee impact in every future context?
    • The result is tied to its tested population, period and conditions
    • Randomization is never useful
    • The experiment measures only latency
    • Online tests cannot record assignment