แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบมาตรฐานการปนเปื้อน

ทดสอบว่ารายการเบนช์มาร์กรั่วไหลเข้าสู่ข้อมูลการฝึกอย่างไร วิธีการตรวจจับ เช่น การทับซ้อนกันของ n-gram และ Min-K% Prob และการบรรเทา เช่น นกคีรีบูนและการแบ่งเวลา

เส้นทางแนะนำที่เกี่ยวข้องการปนเปื้อนมาตรฐาน
คำถาม 1 ของ 8

การปนเปื้อนตามมาตรฐานคืออะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การปนเปื้อนตามมาตรฐานคืออะไร?
    • เมื่อเกณฑ์มาตรฐานมีคีย์คำตอบที่ไม่ถูกต้อง
    • เมื่อแบบจำลองได้รับการทดสอบด้วยคำถามน้อยเกินไป
    • เมื่อรายการทดสอบเกณฑ์มาตรฐานหรือคำตอบปรากฏในข้อมูลการฝึกของโมเดล
    • เมื่อเกณฑ์มาตรฐานสองตัววัดทักษะเดียวกัน
  2. จุดประสงค์ของสาย canary ที่รวมอยู่ในงาน BIG-bench คืออะไร?
    • เพื่อให้ทีมข้อมูลกรองเอกสารเหล่านั้นจากข้อมูลการฝึกอบรมและทดสอบว่าแบบจำลองเห็นหรือไม่
    • เพื่อเข้ารหัสคำตอบ
    • เพื่อทำเครื่องหมายว่างานไหนยากที่สุด
    • เพื่อระบุว่าแบบจำลองใดที่สร้างคำตอบแต่ละข้อ
  3. การศึกษา GSM1k แนะนำอะไร
    • ทุกรุ่นมีคะแนนสูงกว่าในปัญหาใหม่
    • GSM8K ไม่มีข้อผิดพลาด
    • ไม่สามารถวัดการปนเปื้อนได้หากไม่มีข้อมูลการฝึกอบรม
    • บางรุ่นมีคะแนนต่ำกว่าอย่างเห็นได้ชัดจากปัญหาใหม่และตรงกันมากกว่า GSM8K
  4. เอกสาร GPT-3 ทำการวิเคราะห์การทับซ้อนกันแบบใด
    • ฝังความคล้ายคลึงกันในเอกสารฉบับเต็ม
    • การทับซ้อนกัน 13 กรัมระหว่างการวัดประสิทธิภาพและข้อมูลการฝึกอบรม
    • การตรวจสอบเอกสารการฝึกอบรมทุกฉบับโดยมนุษย์
    • Min-K% Prob ในแต่ละเกณฑ์มาตรฐาน
  5. แนวคิดหลักของ Min-K% Prob คืออะไร
    • การลบคำ k เปอร์เซ็นต์ที่พบบ่อยที่สุดออกจากข้อมูลการฝึกอบรม
    • ฝึกอบรมโมเดลที่สองเพื่อจำแนกข้อความที่ปนเปื้อน
    • ข้อความที่โมเดลเห็นมีแนวโน้มที่จะมีโทเค็นความน่าจะเป็นต่ำมากเพียงเล็กน้อย
    • การวัดความยาวของคำตอบของแบบจำลอง
  6. การแบ่งตามเวลาเช่นเดียวกับใน LiveCodeBench ช่วยตรวจจับการปนเปื้อนได้อย่างไร
    • โดยจะเปรียบเทียบประสิทธิภาพของปัญหาที่เผยแพร่ก่อนและหลังจุดตัดการฝึกของโมเดล
    • เป็นการวัดระยะเวลาที่โมเดลใช้ในการตอบ
    • โดยแบ่งโมเดลออกเป็นเลเยอร์เก่าและเลเยอร์ใหม่
    • นับเฉพาะปัญหาที่ได้รับคำตอบภายในระยะเวลาที่กำหนด
  7. เหตุใดการค้นหาว่าไม่มีการทับซ้อนที่แน่นอนไม่ได้พิสูจน์ว่าเกณฑ์มาตรฐานนั้นสะอาด
    • การจับคู่แบบตรงทั้งหมดทำงานช้าเกินไป
    • เกณฑ์มาตรฐานเปลี่ยนคำตอบเมื่อเวลาผ่านไป
    • โมเดลไม่เคยจำข้อความที่แน่นอน
    • สำเนาที่ถอดความหรือแปลแล้วอาจหลุดพ้นการจับคู่สตริงได้
  8. ในการชำระล้างการปนเปื้อนขนาด n-gram จะเกิดอะไรขึ้นหากเลือก n น้อยเกินไป
    • พลาดสำเนาใกล้เคียงที่มีการแก้ไขเล็กน้อย
    • ผลบวกลวงจำนวนมากจากวลีทั่วไปถูกตั้งค่าสถานะ
    • ตัวกรองหยุดทำงานโดยสิ้นเชิง
    • จับคู่เฉพาะคำตอบ ไม่ใช่คำถาม