What is Sliding Window Attention? Definition | AI Understanding

คำนิยาม

รูปแบบความสนใจที่แต่ละโทเค็นเข้าร่วมเฉพาะหน้าต่างขนาดคงที่ของโทเค็นใกล้เคียงเพื่อลดการประมวลผล

ข้อกำหนดที่เกี่ยวข้อง

การตัดแต่งกิ่ง

การลบน้ำหนักโมเดลหรือเซลล์ประสาทที่มีความสำคัญน้อยกว่าออกเพื่อลดขนาดและการคำนวณ

การเรียกเก็บเงินตามการใช้งาน

ราคาที่ต้นทุนปรับขนาดด้วยการเรียก API, โทเค็น, เวลาอนุมาน หรือการประมวลผลที่ใช้ไป

กฎหมายมาตราส่วน

ความสัมพันธ์เชิงประจักษ์ที่แสดงให้เห็นว่าประสิทธิภาพดีขึ้นอย่างไรด้วยขนาดโมเดล ข้อมูล หรือการประมวลผล

รุ่นเบาบาง

โมเดลที่มีพารามิเตอร์หลายตัวเป็นศูนย์หรือไม่ได้ใช้งานเพื่อลดการคำนวณ

การถอดรหัสเก็งกำไร

วิธีการเร่งความเร็วอนุมานที่แบบจำลองร่างขนาดเล็กเสนอโทเค็นที่แบบจำลองขนาดใหญ่ตรวจสอบพร้อมกัน

หน้าต่างบริบท

จำนวนโทเค็นอินพุตสูงสุดที่โมเดลภาษาสามารถประมวลผลได้ในคราวเดียว

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

ดูเพิ่มเติม

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

เรียกดูอภิธานศัพท์ AI ฉบับเต็ม สำรวจคำแนะนำ AI ฟรีทั้งหมด