แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการถอดรหัสที่ตรงกันข้าม
ทดสอบการให้คะแนนของผู้เชี่ยวชาญ-มือสมัครเล่น การระงับโทเค็นที่ใช้ร่วมกัน การกรองความน่าเชื่อถือ การใช้เวลาในการถอดรหัส และการประเมินการสร้างคอนทราสต์
คำถาม 1 ของ 8
ในการถอดรหัสแบบเปรียบเทียบ โมเดล 'มือสมัครเล่น' ขนาดเล็กมีบทบาทอย่างไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ในการถอดรหัสแบบเปรียบเทียบ โมเดล 'มือสมัครเล่น' ขนาดเล็กมีบทบาทอย่างไร
- ความน่าจะเป็นของบันทึกจะถูกลบออกเพื่อระงับโหมดความล้มเหลวที่ใช้ร่วมกัน
- มันสร้างข้อความเอาต์พุตสุดท้ายโดยตรง
- มีการปรับปรุงข้อผิดพลาดของผู้เชี่ยวชาญอย่างละเอียด
- จะเข้ามาแทนที่ผู้เชี่ยวชาญเมื่อผู้เชี่ยวชาญไม่แน่ใจ
- เหตุใดการลบความน่าจะเป็นของมือสมัครเล่นจึงลดการทำซ้ำและผลลัพธ์ที่ไม่ชัดเจน
- มือสมัครเล่นได้รับการฝึกฝนไม่ให้พูดซ้ำ
- ทั้งสองรุ่นนิยมใช้โทเค็นทั่วไปและโทเค็นซ้ำ ดังนั้นคอนทราสต์จึงยกเลิก
- มือสมัครเล่นจะลบโทเค็นที่ซ้ำกันออกรุ่นแล้วรุ่นเล่า
- การทำซ้ำเป็นไปไม่ได้เมื่อสองโมเดลโหวต
- What does the adaptive plausibility constraint do in contrastive decoding?
- It guarantees every remaining continuation is coherent and true
- It replaces the expert distribution with the amateur distribution
- It filters out candidates whose expert probability is too low relative to the expert’s top token
- It forces every token to have equal probability
- สูตรการให้คะแนนในการถอดรหัสแบบตัดกันโดยประมาณคืออะไร?
- บันทึก p_amateur ลบ บันทึก p_expert
- p_expert คูณ p_amateur
- ค่าเฉลี่ยของความน่าจะเป็นทั้งสอง
- log p_expert ลบค่าสัมประสิทธิ์คูณ log p_amateur
- ข้อได้เปรียบเชิงปฏิบัติที่สำคัญของการถอดรหัสแบบตัดกันคือ:
- ทำงานในเวลาอนุมานโดยไม่มีการฝึกอบรมเพิ่มเติม
- ต้องมีการอบรมขึ้นใหม่ทั้งสองรุ่นร่วมกัน
- ใช้ได้กับงานการจัดหมวดหมู่เท่านั้น
- ทำให้ไม่จำเป็นต้องใช้โมเดลขนาดใหญ่
- วิธีใดในภายหลังที่ขยายแนวคิดที่ตรงกันข้ามไปสู่เลเยอร์ของโมเดลตัวเดียว
- ค้นหาบีม
- DoLa ซึ่งตัดกันระหว่างชั้นต้นกับชั้นปลาย
- การถอดรหัสแบบโลภ
- การปรับอุณหภูมิ
- The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
- 0.4
- 0.1
- 0.04
- 0.004
- Why can contrastive decoding require more inference work than using the expert model alone?
- It must retrain both models for every prompt
- It replaces the vocabulary with image patches
- It runs only the amateur model
- It scores candidates with both an expert and an amateur model at inference time