ضبط البادئة
يعد ضبط البادئة طريقة فعالة للمعلمات لتكييف نموذج لغة مجمدة من خلال تدريب مجموعة صغيرة من المتجهات المستمرة التي يتم إضافتها مسبقًا إلى مدخلات كل طبقة.
نظرة عامة
It lets you customize giant models for new tasks while updating less than 1% of parameters.
الغوص العميق
ضبط البادئة، الذي قدمه الباحثون في جامعة ستانفورد، لي وليانج في عام 2021، يكيف محولًا تم تدريبه مسبقًا دون المساس بأوزانه. بدلاً من ضبط جميع المعلمات، فإنه يُلحق سلسلة من "الرموز الافتراضية" القابلة للتدريب (البادئة) بالمفاتيح والقيم في كل طبقة انتباه. يهتم النموذج المجمد بهذه البادئة كما لو كانت سياقًا حقيقيًا، ويوجه سلوكه نحو مهمة مستهدفة. نظرًا لأنه يتم تعلم متجهات البادئة فقط، يمكنك تخزين بادئة صغيرة واحدة لكل مهمة بدلاً من نسخة النموذج الكاملة. وهذا يجعل تقديم العديد من المهام رخيصًا ويتجنب تضخم التخزين من خلال الضبط الدقيق الكامل. إنه يؤدي أداءً جيدًا بشكل خاص في مهام الإنشاء مثل تحويل الجدول إلى نص والتلخيص، وغالبًا ما يتطابق مع الضبط الدقيق الكامل في إعدادات البيانات العالية.
البصيرة الفنية
على عكس الضبط الفوري، الذي يضيف فقط المتجهات في طبقة تضمين الإدخال، يقوم ضبط البادئة بحقن متجهات المفتاح/القيمة القابلة للتدريب في الاهتمام الذاتي لكل طبقة محولات. لتحقيق الاستقرار في التدريب، يتم إنشاء البادئة عادةً بواسطة شبكة تغذية أمامية صغيرة (خدعة إعادة المعلمة) بدلاً من تحسينها مباشرةً؛ يتم تجاهل هذه الشبكة بعد التدريب، ولم يتبق سوى مصفوفات البادئة التي تم تعلمها. تتلقى معلمات البادئة هذه فقط التدرجات، ويظل العمود الفقري بأكمله مجمداً.
التأثير الاستراتيجي
السرعة والحجم
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
الوصول والوصول
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
قرارات أوضح
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
مستقبل ضبط البادئة
ساعد ضبط البادئة في إطلاق موجة الضبط الدقيق (PEFT) ذات كفاءة المعلمات، ويظل بمثابة لبنة أساسية في المكتبات مثل Hugging Face PEFT. مع نمو النماذج الأساسية إلى مئات المليارات من المعلمات، أصبحت المحولات خفيفة الوزن مثل البادئات جذابة بشكل متزايد لخدمة المستأجرين المتعددين والتخصيص على الجهاز. توقع استمرار الأساليب الهجينة التي تمزج البادئات مع التحديثات ذات التصنيف المنخفض على نمط LoRA، والاستخدام المتزايد في التحكم في الأسلوب والشخصية وسلوك السلامة دون إعادة تدريب النماذج بأكملها.
التنفيذ في العالم الحقيقي
تكييف عمود فقري GPT-2 مجمد لإنشاء تحويل من جدول إلى نص عن طريق تدريب بادئة صغيرة على مجموعة بيانات WebNLG
خدمة العشرات من أنماط التلخيص الخاصة بالعميل من نموذج مشترك واحد، كل منها كملف بادئة قابل للتبديل
توجيه نغمة أو شخصية نموذج اللغة لروبوت الدردشة دون إعادة تدريب الأوزان الأساسية
التكيف مع نطاق البيانات المنخفضة، مثل إنشاء النصوص القانونية أو الطبية، حيث قد يؤدي الضبط الدقيق الكامل إلى الإفراط في الضبط
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prefix Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
رفض أخذ العينات صقل
الأسئلة المتداولة
What is Prefix Tuning?
يعد ضبط البادئة طريقة فعالة للمعلمات لتكييف نموذج لغة مجمدة من خلال تدريب مجموعة صغيرة من المتجهات المستمرة التي يتم إضافتها مسبقًا إلى مدخلات كل طبقة. فهو يتيح لك تخصيص نماذج عملاقة للمهام الجديدة مع تحديث أقل من 1% من المعلمات.
ما الذي يتدرب عليه ضبط البادئة فعليًا؟
يؤدي ضبط البادئة إلى تجميد العمود الفقري ويتعلم فقط مجموعة صغيرة من متجهات البادئة المستمرة، مما يحافظ على كفاءة المعلمات.
أين يتم حقن ناقلات البادئة؟
يؤدي ضبط البادئة إلى إضافة نواقل المفاتيح/القيم القابلة للتدريب عند الاهتمام الذاتي لكل طبقة محولات، وليس فقط المدخلات.
من الذي أدخل ضبط البادئة ومتى تقريبًا؟
تم اقتراح ضبط البادئة بواسطة Xiang Lisa Li وPercy Liang في جامعة ستانفورد في عام 2021.
لماذا يعد ضبط البادئة أمرًا جذابًا لخدمة العديد من المهام؟
نظرًا لأن البادئة الصغيرة فقط هي الخاصة بالمهمة، يمكنك تخزين ملف صغير واحد لكل مهمة بدلاً من تكرار النموذج بأكمله.
ما هي الحيلة التي تُستخدم غالبًا لتحقيق الاستقرار في تدريب البادئة؟
يقوم MLP الصغير بإنشاء البادئة أثناء التدريب من أجل الاستقرار، ثم يتم التخلص منها، تاركًا فقط مصفوفات البادئة التي تم تعلمها.