AI لغت کی اصطلاح

فلیش توجہ کیا ہے؟

تعریف

ایک بہتر توجہ کا الگورتھم جو میموری کے استعمال کو کم کرتا ہے اور ٹرانسفارمر کی تربیت اور اندازہ کو تیز کرتا ہے۔

مکمل AI لغت براؤز کریں۔تمام مفت AI گائیڈز دریافت کریں۔

متعلقہ شرائط

فیچر اسٹورتربیت اور تخمینہ کے لیے توثیق شدہ ML خصوصیات کو مستقل طور پر ذخیرہ کرنے اور پیش کرنے کے لیے ایک منظم نظام۔بیک پروپیگیشنبنیادی تربیتی الگورتھم جو پیشین گوئی کی غلطیوں کو نیٹ ورک کے ذریعے پیچھے کی طرف پھیلا کر ماڈل کے وزن کو اپ ڈیٹ کرتا ہے۔ماڈل کوانٹائزیشنمیموری اور تخمینہ لاگت کو کم کرنے کے لیے ماڈل وزن کی عددی درستگی کو کم کرنا۔ٹرانسفارمرایک عصبی فن تعمیر جو متوازی طور پر ترتیب میں ماڈل تعلقات پر توجہ کا استعمال کرتا ہے۔تربیت کا نقصانماڈل کی غلطی کی قدر تربیت کے دوران شمار کی گئی اور وقت کے ساتھ نیچے کی طرف بہتر کی گئی۔ملٹی ہیڈ توجہایک ٹرانسفارمر میکانزم جو مختلف قسم کے رشتوں کو حاصل کرنے کے لیے متوازی طور پر توجہ کے متعدد آپریشن چلاتا ہے۔

ہماری مفت گائیڈز میں مزید جانیں۔

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

یہ بھی دیکھیں

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop