مصطلح مسرد الذكاء الاصطناعي

ما هو انتباه فلاش؟

التعريف

خوارزمية انتباه محسنة تقلل من استخدام الذاكرة وتسرع تدريب المحولات والاستدلال.

تصفح قاموس الذكاء الاصطناعي الكاملاستكشف جميع أدلة الذكاء الاصطناعي المجانية

المصطلحات ذات الصلة

متجر الميزاتنظام مُدار لتخزين وتقديم ميزات ML التي تم التحقق من صحتها بشكل متسق للتدريب والاستدلال.الانتشار العكسيخوارزمية التدريب الأساسية التي تعمل على تحديث أوزان النماذج عن طريق نشر أخطاء التنبؤ للخلف عبر الشبكة.التكميم النموذجيتقليل الدقة الرقمية لأوزان النموذج لتقليل تكلفة الذاكرة والاستدلال.محولبنية عصبية تستخدم الانتباه إلى العلاقات النموذجية عبر التسلسلات بالتوازي.خسارة التدريبقيمة خطأ النموذج المحسوبة أثناء التدريب وتحسينها نزولا مع مرور الوقت.اهتمام متعدد الرؤوسآلية محولة تقوم بتشغيل العديد من عمليات الانتباه بالتوازي لالتقاط أنواع مختلفة من العلاقات.

تعرف على المزيد في أدلةنا المجانية

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

انظر أيضا

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop