คำศัพท์อภิธานศัพท์ AI

คืออะไร บทลงโทษการทำซ้ำ?

คำนิยาม

การตั้งค่าการถอดรหัสที่ลดความน่าจะเป็นของโทเค็นที่โมเดลได้สร้างไว้แล้วเพื่อลดการวนซ้ำ

ข้อกำหนดที่เกี่ยวข้อง

การลงโทษความถี่
การตั้งค่าการถอดรหัสที่ลดความน่าจะเป็นของโทเค็นตามสัดส่วนกับความถี่ที่ปรากฏจนถึงปัจจุบัน
การลงโทษการแสดงตน
การตั้งค่าการถอดรหัสที่ลดความน่าจะเป็นของโทเค็นที่ปรากฏเลย กระตุ้นให้เกิดหัวข้อใหม่
การสุ่มตัวอย่าง Top-k
กลยุทธ์การถอดรหัสที่สุ่มตัวอย่างจากโทเค็นที่น่าจะถัดไปมากที่สุดเท่านั้น
การถอดรหัสที่ได้รับการปกป้อง
กลยุทธ์การสร้างที่จำกัดโทเค็นเอาท์พุตให้มีโครงสร้างที่ถูกต้องหรือตัวเลือกที่สอดคล้องกับนโยบาย
การถอดรหัสเก็งกำไร
วิธีการเร่งความเร็วอนุมานที่แบบจำลองร่างขนาดเล็กเสนอโทเค็นที่แบบจำลองขนาดใหญ่ตรวจสอบพร้อมกัน
หน้าต่างบานเลื่อนความสนใจ
รูปแบบความสนใจที่แต่ละโทเค็นเข้าร่วมเฉพาะหน้าต่างขนาดคงที่ของโทเค็นใกล้เคียงเพื่อลดการประมวลผล

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

ดูเพิ่มเติม