คืออะไร การลงโทษการแสดงตน?

การตั้งค่าการถอดรหัสที่ลดความน่าจะเป็นของโทเค็นตามสัดส่วนกับความถี่ที่ปรากฏจนถึงปัจจุบัน

การตั้งค่าการถอดรหัสที่ลดความน่าจะเป็นของโทเค็นที่โมเดลได้สร้างไว้แล้วเพื่อลดการวนซ้ำ

กลยุทธ์การถอดรหัสที่สุ่มตัวอย่างจากโทเค็นที่น่าจะถัดไปมากที่สุดเท่านั้น

กลยุทธ์การสร้างที่จำกัดโทเค็นเอาท์พุตให้มีโครงสร้างที่ถูกต้องหรือตัวเลือกที่สอดคล้องกับนโยบาย

วิธีการเร่งความเร็วอนุมานที่แบบจำลองร่างขนาดเล็กเสนอโทเค็นที่แบบจำลองขนาดใหญ่ตรวจสอบพร้อมกัน

เทนเซอร์คีย์และค่าที่จัดเก็บไว้จากโทเค็นก่อนหน้าซึ่งช่วยให้หม้อแปลงสร้างโทเค็นใหม่โดยไม่ต้องคำนวณความสนใจในอดีตใหม่