คำศัพท์อภิธานศัพท์ AI

การสุ่มตัวอย่าง Top-k คืออะไร?

คำนิยาม

กลยุทธ์การถอดรหัสที่สุ่มตัวอย่างจากโทเค็นที่น่าจะถัดไปมากที่สุดเท่านั้น

การสุ่มตัวอย่าง Top-p (นิวเคลียส)กลยุทธ์การถอดรหัสที่สุ่มตัวอย่างจากชุดโทเค็นที่เล็กที่สุดซึ่งความน่าจะเป็นจะรวมกันเป็น pการถอดรหัสที่ได้รับการปกป้องกลยุทธ์การสร้างที่จำกัดโทเค็นเอาท์พุตให้มีโครงสร้างที่ถูกต้องหรือตัวเลือกที่สอดคล้องกับนโยบายการเรียนรู้แบบไม่กี่ช็อตการเรียนรู้หรือปรับพฤติกรรมจากตัวอย่างเพียงเล็กน้อยPerplexityตัวชี้วัดแบบจำลองภาษาที่วัดว่าแบบจำลองนั้นน่าประหลาดใจเพียงใดด้วยโทเค็นถัดไปที่แท้จริงการถอดรหัสเก็งกำไรวิธีการเร่งความเร็วอนุมานที่แบบจำลองร่างขนาดเล็กเสนอโทเค็นที่แบบจำลองขนาดใหญ่ตรวจสอบพร้อมกันแคช KVเทนเซอร์คีย์และค่าที่จัดเก็บไว้จากโทเค็นก่อนหน้าซึ่งช่วยให้หม้อแปลงสร้างโทเค็นใหม่โดยไม่ต้องคำนวณความสนใจในอดีตใหม่

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

ดูเพิ่มเติม