مصطلح مسرد الذكاء الاصطناعي

ما هو كلورا?

التعريف

تقنية ضبط دقيقة تجمع بين تكميم الوزن 4 بت مع محولات LoRA لتقليل احتياجات الذاكرة.

المصطلحات ذات الصلة

LoRA (التكيف ذو الرتبة المنخفضة)
طريقة ضبط دقيقة ذات كفاءة في المعلمات تضيف مصفوفات محولات ذات رتبة منخفضة.
التكميم
تحويل أوزان النماذج إلى تنسيقات ذات دقة أقل مثل 8 بت أو 4 بت.
ضبط دقيق
مواصلة التدريب على البيانات الخاصة بالمجال لتكييف نموذج تم تدريبه مسبقًا مع مهمة محددة.
ضبط التعليمات
ضبط نموذج على أزواج التعليمات والاستجابة لتحسين متابعة المهام.
التكميم النموذجي
تقليل الدقة الرقمية لأوزان النموذج لتقليل تكلفة الذاكرة والاستدلال.
الضبط الدقيق ذو كفاءة المعلمة (PEFT)
الطرق التي تعمل على تكييف النماذج من خلال تدريب مجموعة فرعية صغيرة من المعلمات المضافة.

تعرف على المزيد في أدلةنا المجانية

QLoRA and 4-Bit Fine-Tuning

انظر أيضا

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
تصفح قاموس الذكاء الاصطناعي الكاملاستكشف جميع أدلة الذكاء الاصطناعي المجانية