ما هو انزلاق النافذة الاهتمام؟ تعريف | AI Understanding

التعريف

نمط انتباه حيث يهتم كل رمز مميز فقط بنافذة ذات حجم ثابت من الرموز المميزة القريبة لتقليل الحوسبة.

المصطلحات ذات الصلة

إزالة أوزان النماذج أو الخلايا العصبية الأقل أهمية لتقليل الحجم والحساب.

الفواتير على أساس الاستخدام

التسعير حيث تتسع التكاليف من خلال استدعاءات واجهة برمجة التطبيقات (API) أو الرموز المميزة أو وقت الاستدلال أو الحوسبة المستهلكة.

قانون التحجيم

علاقة تجريبية توضح كيفية تحسن الأداء مع حجم النموذج أو البيانات أو الحساب.

نموذج متناثر

نموذج تكون فيه العديد من المعلمات صفرًا أو غير نشطة لتقليل العمليات الحسابية.

فك التشفير التخميني

طريقة تسريع الاستدلال حيث يقترح نموذج مسودة صغير رموزًا مميزة يتحقق منها نموذج أكبر بالتوازي.

نافذة السياق

الحد الأقصى لعدد رموز الإدخال التي يمكن لنموذج اللغة معالجتها مرة واحدة.

تعرف على المزيد في أدلةنا المجانية

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

انظر أيضا

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

تصفح قاموس الذكاء الاصطناعي الكامل استكشف جميع أدلة الذكاء الاصطناعي المجانية