تعلّم الأخبار الأدوات وظائف المهمة

مصطلح مسرد الذكاء الاصطناعي

ما هو التقليم؟

التعريف

إزالة أوزان النماذج أو الخلايا العصبية الأقل أهمية لتقليل الحجم والحساب.

تصفح قاموس الذكاء الاصطناعي الكامل استكشف جميع أدلة الذكاء الاصطناعي المجانية

انزلاق النافذة الاهتمامنمط انتباه حيث يهتم كل رمز مميز فقط بنافذة ذات حجم ثابت من الرموز المميزة القريبة لتقليل الحوسبة.قانون التحجيمعلاقة تجريبية توضح كيفية تحسن الأداء مع حجم النموذج أو البيانات أو الحساب.النموذج المقطرنموذج أصغر تم تدريبه لتقليد سلوك نموذج أكبر مع استخدام قدر أقل من الحساب عند الاستدلال.الانتشار العكسيخوارزمية التدريب الأساسية التي تعمل على تحديث أوزان النماذج عن طريق نشر أخطاء التنبؤ للخلف عبر الشبكة.حسابموارد المعالجة المطلوبة لتدريب النماذج وتشغيلها، والتي يتم قياسها غالبًا بوحدات FLOPS أو ساعات GPU.التدرجمتجه يوضح المقدار الذي يجب أن تتغير به كل معلمة لتقليل الخسارة.

تعرف على المزيد في أدلةنا المجانية

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

انظر أيضا

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System