التعلم في السياق
التعلم في السياق هو القدرة المدهشة لنماذج اللغة الكبيرة على التقاط مهمة جديدة من بضعة أمثلة موضوعة في الموجه، دون أي إعادة تدريب.
نظرة عامة
It is the reason you can 'teach' a model on the fly just by showing it what you want.
الغوص العميق
عادةً، يعني تعليم الشبكة العصبية مهمة جديدة تحديث أوزانها من خلال التدريب. يختلف التعلم في السياق: تكتب بعض الأمثلة مباشرة في الموجه ("السياق")، ويستنتج النموذج النمط ويطبقه على مدخلات جديدة. لا شيء يتغير داخل النموذج؛ تقوم الأمثلة فقط بتوجيه التنبؤ بالرمز المميز التالي. سوف تسمع "صفر طلقة" (تعليمات فقط)، و"طلقة واحدة" (مثال واحد)، و"طلقة قليلة" (عدة أمثلة). تم نشر هذا السلوك بواسطة GPT-3 في عام 2020 وتبين أنه قدرة ناشئة: لا تستطيع النماذج الصغيرة القيام بذلك، ولكن بعد تجاوز مقياس 100 مليار معلمة تقريبًا، ترتفع الدقة في عدد قليل من اللقطات بشكل حاد. لقد تعلم النموذج بشكل فعال التعرف على الأنماط ومواصلتها أثناء التدريب المسبق، حتى يتمكن من إعادة استخدام تلك المهارة في وقت الاستدلال.
البصيرة الفنية
تتبعت أبحاث قابلية التفسير جزءًا كبيرًا من هذه القدرة إلى "رؤوس الحث" - وهي دوائر الانتباه التي تظهر أثناء التدريب وتؤدي مطابقة بادئة غامضة: حيث تقوم بالبحث مرة أخرى عن مكان ظهور رمز مميز مماثل، ثم تنسخ ما أعقبه. لذلك عندما تظهر المطالبة "تفاحة -> فاكهة، جزر -> خضروات"، يطابق النموذج البنية ويتنبأ بالتسمية الصحيحة للعنصر التالي. والأهم من ذلك، عدم وجود تدفق تدرجات وعدم تحديث الأوزان عند الاستدلال. تعمل الأمثلة ببساطة على إعادة تشكيل عمليات التنشيط التي تغذي التوزيع الاحتمالي للرمز المميز التالي.
التأثير الاستراتيجي
السرعة والحجم
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
الوصول والوصول
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
قرارات أوضح
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
مستقبل التعلم في السياق
يؤدي توسيع نوافذ السياق (الآن مئات الآلاف من الرموز المميزة) إلى دفع التعلم في السياق نحو أنظمة "متعددة اللقطات"، حيث يمكن لعشرات أو مئات الأمثلة أن تنافس الضبط الدقيق لبعض المهام، دون أي تكلفة تدريب. توقع تكاملًا أكثر إحكامًا مع الاسترجاع، بحيث يتم جلب الأمثلة ذات الصلة تلقائيًا، ووضع نظرية أفضل عند فشل التعلم في السياق أو تشتيت انتباهه. وستظل الطريقة السريعة والرخيصة لتكييف النموذج، واستكمال - وليس استبدال - الضبط الدقيق للمهام المستقرة ذات الحجم الكبير.
التنفيذ في العالم الحقيقي
إعطاء برنامج الدردشة ثلاثة أمثلة لتذاكر الدعم وفئاتها، ثم جعله يصنف تذكرة جديدة بنفس الطريقة
عرض نموذج اثنين قبل/بعد أزواج من النص الفوضوي المعاد تنسيقه إلى JSON نظيف بحيث يقوم بتحويل الباقي
لصق نموذجين لأوصاف المنتج بأسلوب علامتك التجارية حتى تتناسب الوصفات الجديدة مع النمط
عرض مسألة رياضية لفظية صعبة تم حلها خطوة بخطوة بحيث يحل النموذج مسائل مماثلة بنفس تنسيق الاستدلال
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the In-Context Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
سياق ويندوز
الأسئلة المتداولة
What is In-Context Learning?
التعلم في السياق هو القدرة المدهشة لنماذج اللغة الكبيرة على التقاط مهمة جديدة من بضعة أمثلة موضوعة في الموجه، دون أي إعادة تدريب. وهذا هو السبب وراء قدرتك على "تعليم" النموذج سريعًا فقط من خلال إظهار ما تريد له.
ما الذي يتغير بشكل أساسي داخل النموذج أثناء التعلم في السياق؟
يحدث التعلم في السياق بالكامل عند الاستدلال. تشكل الأمثلة الموجودة في الموجه عمليات تنشيط النموذج وتنبؤات الرمز المميز التالي، ولكن لا يتم تحديث أي أوزان.
لماذا يوصف التعلم في السياق بأنه قدرة "ناشئة"؟
تكون القدرة ضعيفة أو غائبة في النماذج الصغيرة وتصعد بشكل حاد بمجرد وصول النماذج إلى نطاق كبير جدًا، ولهذا السبب تسمى ناشئة.
ما هي الآلية الداخلية الأكثر ارتباطًا بالتعلم في السياق في المحولات؟
وقد حددت أعمال قابلية التفسير رؤوس الحث - وهي دوائر الانتباه التي تجد مكان ظهور رمز مماثل وتنسخ ما جاء بعد ذلك - كمحرك أساسي للتعلم في السياق.