AI لغت کی اصطلاح

کیا ہے فلیش توجہ?

تعریف

ایک بہتر توجہ کا الگورتھم جو میموری کے استعمال کو کم کرتا ہے اور ٹرانسفارمر کی تربیت اور اندازہ کو تیز کرتا ہے۔

متعلقہ شرائط

فیچر اسٹور
تربیت اور تخمینہ کے لیے توثیق شدہ ML خصوصیات کو مستقل طور پر ذخیرہ کرنے اور پیش کرنے کے لیے ایک منظم نظام۔
بیک پروپیگیشن
بنیادی تربیتی الگورتھم جو پیشین گوئی کی غلطیوں کو نیٹ ورک کے ذریعے پیچھے کی طرف پھیلا کر ماڈل کے وزن کو اپ ڈیٹ کرتا ہے۔
ماڈل کوانٹائزیشن
میموری اور تخمینہ لاگت کو کم کرنے کے لیے ماڈل وزن کی عددی درستگی کو کم کرنا۔
ٹرانسفارمر
ایک عصبی فن تعمیر جو متوازی طور پر ترتیب میں ماڈل تعلقات پر توجہ کا استعمال کرتا ہے۔
تربیت کا نقصان
ماڈل کی غلطی کی قدر تربیت کے دوران شمار کی گئی اور وقت کے ساتھ نیچے کی طرف بہتر کی گئی۔
ملٹی ہیڈ توجہ
ایک ٹرانسفارمر میکانزم جو مختلف قسم کے رشتوں کو حاصل کرنے کے لیے متوازی طور پر توجہ کے متعدد آپریشن چلاتا ہے۔

ہماری مفت گائیڈز میں مزید جانیں۔

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

See also

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
مکمل AI لغت براؤز کریں۔تمام مفت AI گائیڈز دریافت کریں۔