คืออะไร การสุ่มตัวอย่าง Top-k?

กลยุทธ์การถอดรหัสที่สุ่มตัวอย่างจากชุดโทเค็นที่เล็กที่สุดซึ่งความน่าจะเป็นจะรวมกันเป็น p

กลยุทธ์การสร้างที่จำกัดโทเค็นเอาท์พุตให้มีโครงสร้างที่ถูกต้องหรือตัวเลือกที่สอดคล้องกับนโยบาย

การเรียนรู้หรือปรับพฤติกรรมจากตัวอย่างเพียงเล็กน้อย

ตัวชี้วัดแบบจำลองภาษาที่วัดว่าแบบจำลองนั้นน่าประหลาดใจเพียงใดด้วยโทเค็นถัดไปที่แท้จริง

วิธีการเร่งความเร็วอนุมานที่แบบจำลองร่างขนาดเล็กเสนอโทเค็นที่แบบจำลองขนาดใหญ่ตรวจสอบพร้อมกัน

เทนเซอร์คีย์และค่าที่จัดเก็บไว้จากโทเค็นก่อนหน้าซึ่งช่วยให้หม้อแปลงสร้างโทเค็นใหม่โดยไม่ต้องคำนวณความสนใจในอดีตใหม่