التعلم في السياق

يقوم الضبط الدقيق العادي بتحديث معلمات النموذج من خلال التدريب. بدلاً من ذلك، يضع التعلم في السياق المعلومات والعروض التوضيحية في المدخلات المقدمة عند الاستدلال. تظل أوزان النموذج ثابتة بينما تعتمد عمليات التنشيط والتنبؤات الداخلية الخاصة به على هذا الإدخال. لا تقدم المطالبة ذات اللقطة الصفرية أي توضيحات للمهام، بينما تعطي المطالبة ذات اللقطة الواحدة واحدًا، والموجهة ذات اللقطة القليلة تعطي العديد من المهام. على سبيل المثال، يمكن أن تعرض العروض التوضيحية رسائل دعم مقترنة بتسميات استرداد الأموال والفوترة؛ يمكن بعد ذلك تقديم رسالة جديدة باستخدام نفس البنية. تقترح الأمثلة النمط المطلوب دون ضمان التصنيف الصحيح. قامت ورقة GPT-3 بتقييم العروض التوضيحية للمهام المقدمة من خلال النص دون تحديثات متدرجة والإبلاغ عن التحسينات على نطاق واسع عبر العديد من المهام. ولا تحدد هذه الأدلة عتبة عالمية تبلغ مائة مليار من المعايير، والتي يصبح التعلم في سياقها مستحيلاً دونها. التصميم الفوري مهم أيضًا. أظهر لو وزملاؤه حساسية تجاه ترتيب الأمثلة القليلة في إعدادات التصنيف التي تم تقييمها، لذا فإن إعادة ترتيب الأمثلة المتطابقة يمكن أن تغير النتائج دون تغيير أوزان النماذج. يمكن أن توضح العروض التوضيحية تنسيقًا أو علاقة مهمة، ولكنها لا تزال عبارة عن رموز إدخال يجب معالجتها. تستخدم إضافة المزيد من الأمثلة المزيد من ميزانية السياق المدعومة ويمكن أن تزيد العمل لكل طلب؛ فهو لا يعد تحسينًا للجودة تلقائيًا. للحصول على تطبيق مستقر، قارن بين المطالبة والضبط الدقيق باستخدام جودة المهمة وجهود التدريب وتكاليف الطلب واحتياجات الصيانة بدلاً من افتراض أن إحدى الطرق أرخص دائمًا.