ضبط سريع
يعمل الضبط الفوري على تكييف نموذج لغة مجمدة من خلال تعلم مجموعة من المتجهات المستمرة "الموجهة الناعمة" الملحقة مسبقًا بالإدخال، بدلاً من كتابة الكلمات يدويًا.
نظرة عامة
It is one of the leanest ways to specialize a giant model, and it gets better as models get bigger.
الغوص العميق
يعد الضبط الفوري، الذي قدمه باحثو Google ليستر، والرفو، وكونستانت في عام 2021، أبسط ابن عم لضبط البادئة. بدلاً من صياغة مطالبة نصية يدويًا، يمكنك تجميد النموذج بأكمله والتعرف على مصفوفة صغيرة من التضمينات المستمرة - "المطالبات الناعمة" - التي يتم إضافتها مسبقًا في طبقة الإدخال فقط. يقوم النزول المتدرج بضبط هذه المتجهات لاقناع السلوك الصحيح لمهمة ما. اكتشاف مذهل: مع توسع النموذج الأساسي نحو مليارات المعلمات، يعمل الضبط الفوري على سد الفجوة من خلال الضبط الدقيق الكامل، وفي النهاية مطابقته بمعايير مثل SuperGLUE. تحتاج كل مهمة فقط إلى موجه بسيط خاص بها (غالبًا بضعة آلاف من المعلمات)، لذلك يمكن للنموذج المجمد الواحد أن يخدم العديد من المهام في وقت واحد. وقد صاغ المؤلفون هذا على أنه "قوة الحجم للضبط السريع ذو الكفاءة المعلمية".
البصيرة الفنية
المطالبات البسيطة ليست كلمات حقيقية، فهي متجهات حرة في مساحة التضمين والتي لا تحتاج إلى أن تتوافق مع أي رمز مميز في المفردات. تتم إضافتها فقط في طبقة تضمين الإدخال (على عكس ضبط البادئة، الذي يتم إدخاله في كل طبقة)، مما يجعل الضبط الفوري أخف وزنًا. نظرًا لتجميد النموذج، تتدفق التدرجات مرة أخرى فقط إلى تضمينات الموجه الناعم. تؤثر التهيئة والطول الفوري وحجم النموذج بشكل كبير على الجودة.
التأثير الاستراتيجي
السرعة والحجم
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
الوصول والوصول
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
قرارات أوضح
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
مستقبل الضبط الفوري
أدى الضبط الفوري إلى انتشار فكرة أنه يمكنك توجيه نماذج الأساس المجمدة باستخدام إشارات صغيرة متعلمة، وهي تدعم الكثير من أدوات PEFT الحالية. ومع استمرار النماذج في التوسع، فإن تأثير سد الفجوة يجعل المطالبات البسيطة جذابة للنشر متعدد المهام بتكلفة منخفضة. تعمل الأبحاث على توسيع الفكرة لنقل المطالبات القابلة للتعلم عبر المهام والنماذج، ودمجها مع الاسترجاع، واستخدامها لإنشاء توليد أكثر أمانًا ويمكن التحكم فيه. توقع أن تظل المطالبات البسيطة أداة منخفضة التكلفة إلى جانب LoRA والمحولات.
التنفيذ في العالم الحقيقي
تخصيص نموذج T5 مجمّد واحد للعديد من مهام SuperGLUE، وتخزين مطالبة بسيطة منفصلة لكل مهمة
نشر نموذج واحد كبير بسعر رخيص عبر العديد من العملاء، ولكل منهم مطالبته المكتسبة
المشاعر التوجيهية أو سلوك التصنيف دون صياغة هندسية يدويًا
النقل الفوري السريع: التدريب المسبق على مهمة واحدة لبدء التعلم في مهمة ذات صلة
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
Prompt Engineering
الأسئلة المتداولة
What is Prompt Tuning?
يعمل الضبط الفوري على تكييف نموذج لغة مجمدة من خلال تعلم مجموعة من المتجهات المستمرة "الموجهة الناعمة" الملحقة مسبقًا بالإدخال، بدلاً من كتابة الكلمات يدويًا. إنها واحدة من أسهل الطرق لتخصيص نموذج عملاق، وتتحسن مع زيادة حجم النماذج.
ما هو "المطالبة الناعمة" في الضبط الفوري؟
المطالبات الناعمة هي متجهات مستمرة قابلة للتدريب في مساحة التضمين، وليست كلمات يمكن قراءتها بواسطة الإنسان.
أين يضيف الضبط الفوري ناقلاته القابلة للتدريب؟
الضبط الفوري يسبق المطالبات البسيطة عند الإدخال فقط، وهو ما يجعله أخف من ضبط البادئة.
ما هو التأثير المفاجئ الذي أبرزته الورقة الأصلية حول مقياس النموذج؟
أكد عنوان الورقة على "قوة الحجم": فالنماذج الأكبر حجمًا تتيح ضبطًا دقيقًا كاملاً للمنافسين.
الذي قدم ضبط سريع؟
قام بريان ليستر ورامي الرفو ونوح كونستانت في Google بنشر ورقة الضبط الفوري في عام 2021.
كيف يمكن الضبط السريع من خدمة العديد من المهام من نموذج واحد؟
فقط الموجهات البسيطة الصغيرة هي الخاصة بالمهمة، لذلك يمكن لنموذج واحد مجمّد استضافة العديد من المهام عن طريق تبادل المطالبات.