AI لغت کی اصطلاح

کیا ہے علی بی?

تعریف

ایک پوزیشنی تعصب کا طریقہ جو ٹوکن فاصلہ کی بنیاد پر توجہ کے اسکور کو جرمانہ کرتا ہے، ماڈلز کو طویل سیاق و سباق میں منتقل کرنے میں مدد کرتا ہے۔

متعلقہ شرائط

RoPE (روٹری پوزیشنل ایمبیڈنگز)
ایک پوزیشنل انکوڈنگ کا طریقہ جو متعلقہ ٹوکن پوزیشنز کو انکوڈ کرنے کے لیے استفسار اور کلیدی ویکٹر کو گھماتا ہے۔
پوزیشنی انکوڈنگ
ٹوکن ایمبیڈنگ میں معلومات شامل کی جاتی ہیں تاکہ ٹرانسفارمرز ترتیب ترتیب میں فرق کر سکیں۔
سلائیڈنگ ونڈو توجہ
ایک توجہ کا نمونہ جہاں ہر ٹوکن حساب کو کم کرنے کے لیے صرف قریبی ٹوکنز کی ایک مقررہ سائز والی ونڈو پر حاضر ہوتا ہے۔
الگورتھمک تعصب
ماڈل آؤٹ پٹ میں منظم غیر منصفانہ ڈیٹا، مفروضوں، یا ماڈلنگ کے انتخاب کی وجہ سے ہوتا ہے۔
توجہ کا طریقہ کار
ایک ماڈل کا جزو جو آؤٹ پٹ تیار کرتے وقت متحرک طور پر ان پٹ کے متعلقہ حصوں پر فوکس کرتا ہے۔
تعصب
ڈیٹا یا ماڈل کے رویے میں غلطی یا غیر منصفانہ کا ایک مستقل نمونہ۔

ہماری مفت گائیڈز میں مزید جانیں۔

ALiBi Position Bias

See also

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
مکمل AI لغت براؤز کریں۔تمام مفت AI گائیڈز دریافت کریں۔