مصطلح مسرد الذكاء الاصطناعي

ما هو انتباه فلاش?

التعريف

خوارزمية انتباه محسنة تقلل من استخدام الذاكرة وتسرع تدريب المحولات والاستدلال.

المصطلحات ذات الصلة

متجر الميزات
نظام مُدار لتخزين وتقديم ميزات ML التي تم التحقق من صحتها بشكل متسق للتدريب والاستدلال.
الانتشار العكسي
خوارزمية التدريب الأساسية التي تعمل على تحديث أوزان النماذج عن طريق نشر أخطاء التنبؤ للخلف عبر الشبكة.
التكميم النموذجي
تقليل الدقة الرقمية لأوزان النموذج لتقليل تكلفة الذاكرة والاستدلال.
محول
بنية عصبية تستخدم الانتباه إلى العلاقات النموذجية عبر التسلسلات بالتوازي.
خسارة التدريب
قيمة خطأ النموذج المحسوبة أثناء التدريب وتحسينها نزولا مع مرور الوقت.
اهتمام متعدد الرؤوس
آلية محولة تقوم بتشغيل العديد من عمليات الانتباه بالتوازي لالتقاط أنواع مختلفة من العلاقات.

تعرف على المزيد في أدلةنا المجانية

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

انظر أيضا

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
تصفح قاموس الذكاء الاصطناعي الكاملاستكشف جميع أدلة الذكاء الاصطناعي المجانية