แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบมาตรฐานการปนเปื้อน
ทดสอบว่ารายการเบนช์มาร์กรั่วไหลเข้าสู่ข้อมูลการฝึกอย่างไร วิธีการตรวจจับ เช่น การทับซ้อนกันของ n-gram และ Min-K% Prob และการบรรเทา เช่น นกคีรีบูนและการแบ่งเวลา
คำถาม 1 ของ 8
การปนเปื้อนตามมาตรฐานคืออะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การปนเปื้อนตามมาตรฐานคืออะไร?
- เมื่อเกณฑ์มาตรฐานมีคีย์คำตอบที่ไม่ถูกต้อง
- เมื่อแบบจำลองได้รับการทดสอบด้วยคำถามน้อยเกินไป
- เมื่อรายการทดสอบเกณฑ์มาตรฐานหรือคำตอบปรากฏในข้อมูลการฝึกของโมเดล
- เมื่อเกณฑ์มาตรฐานสองตัววัดทักษะเดียวกัน
- จุดประสงค์ของสาย canary ที่รวมอยู่ในงาน BIG-bench คืออะไร?
- เพื่อให้ทีมข้อมูลกรองเอกสารเหล่านั้นจากข้อมูลการฝึกอบรมและทดสอบว่าแบบจำลองเห็นหรือไม่
- เพื่อเข้ารหัสคำตอบ
- เพื่อทำเครื่องหมายว่างานไหนยากที่สุด
- เพื่อระบุว่าแบบจำลองใดที่สร้างคำตอบแต่ละข้อ
- การศึกษา GSM1k แนะนำอะไร
- ทุกรุ่นมีคะแนนสูงกว่าในปัญหาใหม่
- GSM8K ไม่มีข้อผิดพลาด
- ไม่สามารถวัดการปนเปื้อนได้หากไม่มีข้อมูลการฝึกอบรม
- บางรุ่นมีคะแนนต่ำกว่าอย่างเห็นได้ชัดจากปัญหาใหม่และตรงกันมากกว่า GSM8K
- เอกสาร GPT-3 ทำการวิเคราะห์การทับซ้อนกันแบบใด
- ฝังความคล้ายคลึงกันในเอกสารฉบับเต็ม
- การทับซ้อนกัน 13 กรัมระหว่างการวัดประสิทธิภาพและข้อมูลการฝึกอบรม
- การตรวจสอบเอกสารการฝึกอบรมทุกฉบับโดยมนุษย์
- Min-K% Prob ในแต่ละเกณฑ์มาตรฐาน
- แนวคิดหลักของ Min-K% Prob คืออะไร
- การลบคำ k เปอร์เซ็นต์ที่พบบ่อยที่สุดออกจากข้อมูลการฝึกอบรม
- ฝึกอบรมโมเดลที่สองเพื่อจำแนกข้อความที่ปนเปื้อน
- ข้อความที่โมเดลเห็นมีแนวโน้มที่จะมีโทเค็นความน่าจะเป็นต่ำมากเพียงเล็กน้อย
- การวัดความยาวของคำตอบของแบบจำลอง
- การแบ่งตามเวลาเช่นเดียวกับใน LiveCodeBench ช่วยตรวจจับการปนเปื้อนได้อย่างไร
- โดยจะเปรียบเทียบประสิทธิภาพของปัญหาที่เผยแพร่ก่อนและหลังจุดตัดการฝึกของโมเดล
- เป็นการวัดระยะเวลาที่โมเดลใช้ในการตอบ
- โดยแบ่งโมเดลออกเป็นเลเยอร์เก่าและเลเยอร์ใหม่
- นับเฉพาะปัญหาที่ได้รับคำตอบภายในระยะเวลาที่กำหนด
- เหตุใดการค้นหาว่าไม่มีการทับซ้อนที่แน่นอนไม่ได้พิสูจน์ว่าเกณฑ์มาตรฐานนั้นสะอาด
- การจับคู่แบบตรงทั้งหมดทำงานช้าเกินไป
- เกณฑ์มาตรฐานเปลี่ยนคำตอบเมื่อเวลาผ่านไป
- โมเดลไม่เคยจำข้อความที่แน่นอน
- สำเนาที่ถอดความหรือแปลแล้วอาจหลุดพ้นการจับคู่สตริงได้
- ในการชำระล้างการปนเปื้อนขนาด n-gram จะเกิดอะไรขึ้นหากเลือก n น้อยเกินไป
- พลาดสำเนาใกล้เคียงที่มีการแก้ไขเล็กน้อย
- ผลบวกลวงจำนวนมากจากวลีทั่วไปถูกตั้งค่าสถานะ
- ตัวกรองหยุดทำงานโดยสิ้นเชิง
- จับคู่เฉพาะคำตอบ ไม่ใช่คำถาม