คำศัพท์อภิธานศัพท์ AI

หน้าต่างบานเลื่อนความสนใจ คืออะไร?

คำนิยาม

รูปแบบความสนใจที่แต่ละโทเค็นเข้าร่วมเฉพาะหน้าต่างขนาดคงที่ของโทเค็นใกล้เคียงเพื่อลดการประมวลผล

การตัดแต่งกิ่งการลบน้ำหนักโมเดลหรือเซลล์ประสาทที่มีความสำคัญน้อยกว่าออกเพื่อลดขนาดและการคำนวณการเรียกเก็บเงินตามการใช้งานราคาที่ต้นทุนปรับขนาดด้วยการเรียก API, โทเค็น, เวลาอนุมาน หรือการประมวลผลที่ใช้ไปกฎหมายมาตราส่วนความสัมพันธ์เชิงประจักษ์ที่แสดงให้เห็นว่าประสิทธิภาพดีขึ้นอย่างไรด้วยขนาดโมเดล ข้อมูล หรือการประมวลผลรุ่นเบาบางโมเดลที่มีพารามิเตอร์หลายตัวเป็นศูนย์หรือไม่ได้ใช้งานเพื่อลดการคำนวณการถอดรหัสเก็งกำไรวิธีการเร่งความเร็วอนุมานที่แบบจำลองร่างขนาดเล็กเสนอโทเค็นที่แบบจำลองขนาดใหญ่ตรวจสอบพร้อมกันหน้าต่างบริบทจำนวนโทเค็นอินพุตสูงสุดที่โมเดลภาษาสามารถประมวลผลได้ในคราวเดียว

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

ดูเพิ่มเติม