تعلّم الأخبار الأدوات وظائف المهمة

مصطلح مسرد الذكاء الاصطناعي

ما هو انزلاق النافذة الاهتمام؟

التعريف

نمط انتباه حيث يهتم كل رمز مميز فقط بنافذة ذات حجم ثابت من الرموز المميزة القريبة لتقليل الحوسبة.

تصفح قاموس الذكاء الاصطناعي الكامل استكشف جميع أدلة الذكاء الاصطناعي المجانية

التقليمإزالة أوزان النماذج أو الخلايا العصبية الأقل أهمية لتقليل الحجم والحساب.الفواتير على أساس الاستخدامالتسعير حيث تتسع التكاليف من خلال استدعاءات واجهة برمجة التطبيقات (API) أو الرموز المميزة أو وقت الاستدلال أو الحوسبة المستهلكة.قانون التحجيمعلاقة تجريبية توضح كيفية تحسن الأداء مع حجم النموذج أو البيانات أو الحساب.نموذج متناثرنموذج تكون فيه العديد من المعلمات صفرًا أو غير نشطة لتقليل العمليات الحسابية.فك التشفير التخمينيطريقة تسريع الاستدلال حيث يقترح نموذج مسودة صغير رموزًا مميزة يتحقق منها نموذج أكبر بالتوازي.نافذة السياقالحد الأقصى لعدد رموز الإدخال التي يمكن لنموذج اللغة معالجتها مرة واحدة.

تعرف على المزيد في أدلةنا المجانية

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

انظر أيضا

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW