What is Sliding Window Attention? Definition | AI Understanding

تعریف

ایک توجہ کا نمونہ جہاں ہر ٹوکن حساب کو کم کرنے کے لیے صرف قریبی ٹوکنز کی ایک مقررہ سائز والی ونڈو پر حاضر ہوتا ہے۔

متعلقہ شرائط

سائز اور حساب کو کم کرنے کے لیے کم اہم ماڈل وزن یا نیوران کو ہٹانا۔

استعمال پر مبنی بلنگ

قیمتوں کا تعین جہاں API کالز، ٹوکن، انفرنس ٹائم، یا استعمال شدہ کمپیوٹ کے ساتھ لاگت کی پیمائش ہوتی ہے۔

اسکیلنگ کا قانون

ایک تجرباتی تعلق یہ ظاہر کرتا ہے کہ ماڈل کے سائز، ڈیٹا یا کمپیوٹ کے ساتھ کارکردگی کیسے بہتر ہوتی ہے۔

اسپارس ماڈل

ایک ایسا ماڈل جہاں حساب کو کم کرنے کے لیے بہت سے پیرامیٹرز صفر یا غیر فعال ہوں۔

قیاس آرائی پر مبنی ضابطہ کشائی

ایک انفرنس ایکسلریشن کا طریقہ جہاں ایک چھوٹا ڈرافٹ ماڈل ٹوکن تجویز کرتا ہے جس کی متوازی طور پر ایک بڑا ماڈل تصدیق کرتا ہے۔

سیاق و سباق کی کھڑکی

ان پٹ ٹوکنز کی زیادہ سے زیادہ مقدار جس پر ایک زبان کا ماڈل ایک ساتھ کارروائی کر سکتا ہے۔

ہماری مفت گائیڈز میں مزید جانیں۔

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

See also

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

مکمل AI لغت براؤز کریں۔تمام مفت AI گائیڈز دریافت کریں۔