แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการสุ่มตัวอย่างและการจัดอันดับใหม่ที่ดีที่สุด

เข้าใจการเลือก best-of-N, ข้อจำกัดของ scorer, ค่าใช้จ่ายในช่วง inference, และสมมติฐานความน่าจะเป็นเบื้องหลังการสุ่มผู้สมัครเพิ่ม

คำถาม 1 ของ 8

แนวคิดหลักของการสุ่มตัวอย่างที่ดีที่สุดของ N คืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. แนวคิดหลักของการสุ่มตัวอย่างที่ดีที่สุดของ N คืออะไร
    • สร้างผลลัพธ์ของผู้สมัคร N รายการ และเลือกผลลัพธ์ที่ดีที่สุดที่มีผู้บันทึกคะแนน
    • ฝึกโมเดล N ครั้งและเฉลี่ยน้ำหนัก
    • ใช้เฉพาะเอาต์พุตแรกที่โมเดลสร้างขึ้น
    • ลดคำศัพท์เหลือ N โทเค็น
  2. When is best-of-N most likely to help?
    • When every output is equally good
    • When the model sometimes samples a correct candidate and a reliable verifier can identify it
    • When the task has no way to assess candidates
    • When sampling is disabled
  3. อะไรเป็นตัวกำหนดว่า Best-of-N จะปรับปรุงผลลัพธ์ได้จริงหรือไม่
    • สีของอินเทอร์เฟซผู้ใช้
    • ความยาวของพรอมต์เท่านั้น
    • คุณภาพและความทนทานของผู้บันทึกคะแนนหรือผู้ตรวจสอบ
    • ขนาดคำศัพท์ของโมเดล
  4. What can happen when N becomes large and the reward model is an imperfect proxy?
    • The model’s tokenizer is removed
    • The model forgets its training weights
    • All candidates become identical
    • Selection can favor outputs that exploit scorer errors and reduce true quality
  5. กลยุทธ์การจัดอันดับใหม่อย่างง่ายใดที่เรียกว่าความสม่ำเสมอในตนเอง
    • คนส่วนใหญ่ลงคะแนนเสียงในกลุ่มคำตอบตัวอย่าง
    • การเลือกคำตอบที่ยาวที่สุด
    • การเลือกตัวอย่างแบบสุ่ม
    • รับเอาต์พุตที่มีความน่าจะเป็นต่ำที่สุดเสมอ
  6. What mainly drives the generation cost of best-of-N?
    • Only the number of vocabulary entries
    • The total amount of text generated across the sampled candidates
    • The user interface color
    • The number of model training runs
  7. If each independent sample succeeds with probability p and a perfect verifier picks any success, what is the chance at least one of N samples succeeds?
    • p/N
    • N−p
    • 1−(1−p)^N
    • 1−p^N
  8. Which assumption is needed for the simple 1−(1−p)^N success formula?
    • Every response has a different length
    • The model is retrained after each sample
    • The reward model has no parameters
    • The candidate samples are independent and the verifier recognizes success perfectly