نظرة عامة
التعلم في السياق هو القدرة المدهشة لنماذج اللغة الكبيرة على التقاط مهمة جديدة من بضعة أمثلة موضوعة في الموجه، دون أي إعادة تدريب. وهذا هو السبب وراء قدرتك على "تعليم" النموذج سريعًا فقط من خلال إظهار ما تريد له.
يعد التعلم في السياق جزءًا من مجموعة لغات الذكاء الاصطناعي المستخدمة لقراءة النص والكلام وإنشائه وتصنيفه وتحويله على نطاق واسع.
الغوص العميق
عادةً، يعني تعليم الشبكة العصبية مهمة جديدة تحديث أوزانها من خلال التدريب. يختلف التعلم في السياق: تكتب بعض الأمثلة مباشرة في الموجه ("السياق")، ويستنتج النموذج النمط ويطبقه على مدخلات جديدة. لا شيء يتغير داخل النموذج؛ تقوم الأمثلة فقط بتوجيه التنبؤ بالرمز المميز التالي. سوف تسمع "صفر طلقة" (تعليمات فقط)، و"طلقة واحدة" (مثال واحد)، و"طلقة قليلة" (عدة أمثلة). تم نشر هذا السلوك بواسطة GPT-3 في عام 2020 وتبين أنه قدرة ناشئة: لا تستطيع النماذج الصغيرة القيام بذلك، ولكن بعد تجاوز مقياس 100 مليار معلمة تقريبًا، ترتفع الدقة في عدد قليل من اللقطات بشكل حاد. لقد تعلم النموذج بشكل فعال التعرف على الأنماط ومواصلتها أثناء التدريب المسبق، حتى يتمكن من إعادة استخدام تلك المهارة في وقت الاستدلال.
البصيرة الفنية
تتبعت أبحاث قابلية التفسير جزءًا كبيرًا من هذه القدرة إلى "رؤوس الحث" - وهي دوائر الانتباه التي تظهر أثناء التدريب وتؤدي مطابقة بادئة غامضة: حيث تقوم بالبحث مرة أخرى عن مكان ظهور رمز مميز مماثل، ثم تنسخ ما أعقبه. لذلك عندما تظهر المطالبة "تفاحة -> فاكهة، جزر -> خضروات"، يطابق النموذج البنية ويتنبأ بالتسمية الصحيحة للعنصر التالي. والأهم من ذلك، عدم وجود تدفق تدرجات وعدم تحديث الأوزان عند الاستدلال. تعمل الأمثلة ببساطة على إعادة تشكيل عمليات التنشيط التي تغذي التوزيع الاحتمالي للرمز المميز التالي.
إتقان التعلم في السياق
التعلم في السياق هو القدرة المدهشة لنماذج اللغة الكبيرة على التقاط مهمة جديدة من بضعة أمثلة موضوعة في الموجه، دون أي إعادة تدريب. وهذا هو السبب وراء قدرتك على "تعليم" النموذج سريعًا فقط من خلال إظهار ما تريد له. يعد التعلم في السياق جزءًا من مجموعة لغات الذكاء الاصطناعي المستخدمة لقراءة النص والكلام وإنشائه وتصنيفه وتحويله على نطاق واسع. لبناء فهم عميق، تعامل مع التعلم ضمن السياق كنموذج تشغيلي، وليس كميزة واحدة: حدد النتائج المرغوبة، ووضح الافتراضات، وافصل ما يمكن للنظام القيام به بشكل موثوق عما لا يزال يتطلب حكم الخبراء.
من الناحية العملية، تستخدم الفرق القوية حلقات تصميم التعلم داخل السياق للمطالبات والاسترجاع والمراجعة كنظام اتصال متكامل واحد. وهي تقوم بتوثيق معايير نجاح واضحة، واختبارها مقابل بيانات واقعية وسير العمل، والتكرار بناءً على أنماط الفشل الملحوظة بدلاً من الانتصارات المعيارية لمرة واحدة. وهذا هو المكان الذي يتحول فيه الفهم النظري إلى قدرة دائمة عبر المنتج والسياسة والعمليات.
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق. وفي الوقت نفسه، يمكن للحقائق المهلوسة أن تدخل التقارير أو التدفقات الداعمة أو مخرجات البحث بهدوء. ويتمثل النهج الأكثر مرونة في الجمع بين سرعة التجريب وانضباط الحوكمة: تشغيل البرامج التجريبية، والتقاط الأدلة، ونشر سجلات القرارات، وتحديث الضمانات بشكل مستمر مع تطور سلوك النموذج، وتوقعات المستخدم، والمتطلبات التنظيمية.
التأثير الاستراتيجي
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
فهو يوسع الوصول عبر اللغات وأنماط الاتصال. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
التنفيذ في العالم الحقيقي
إعطاء برنامج الدردشة ثلاثة أمثلة لتذاكر الدعم وفئاتها، ثم جعله يصنف تذكرة جديدة بنفس الطريقة
عرض نموذج اثنين قبل/بعد أزواج من النص الفوضوي المعاد تنسيقه إلى JSON نظيف بحيث يقوم بتحويل الباقي
لصق نموذجين لأوصاف المنتج بأسلوب علامتك التجارية حتى تتناسب الوصفات الجديدة مع النمط
عرض مسألة رياضية لفظية صعبة تم حلها خطوة بخطوة بحيث يحل النموذج مسائل مماثلة بنفس تنسيق الاستدلال
أنماط التنفيذ
التعلم في سياق الممارسة
إعطاء برنامج الدردشة ثلاثة أمثلة لتذاكر الدعم وفئاتها، ثم جعله يصنف تذكرة جديدة بنفس الطريقة.
إعطاء برنامج الدردشة ثلاثة أمثلة لتذاكر الدعم وفئاتها، ثم جعله يصنف تذكرة جديدة بنفس الطريقة التي تحصل بها الفرق عادةً على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
التعلم في سياق الممارسة
عرض نموذج اثنين قبل/بعد أزواج من النص الفوضوي المعاد تنسيقه إلى JSON نظيف بحيث يقوم بتحويل الباقي.
عرض نموذج اثنين قبل/بعد أزواج من النص الفوضوي المعاد تنسيقه إلى JSON نظيف بحيث يحول بقية الفرق عادةً ما تحصل على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
التعلم في سياق الممارسة
لصق نموذجين لأوصاف المنتج بأسلوب علامتك التجارية حتى تتناسب الوصفات الجديدة مع النمط.
لصق نموذجين من أوصاف المنتج بأسلوب علامتك التجارية بحيث تتطابق الوصفات الجديدة مع النمط. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
التعلم في سياق الممارسة
تم عرض مسألة رياضية كلامية صعبة خطوة بخطوة بحيث يحل النموذج مشاكل مماثلة بنفس تنسيق المنطق.
تم تنفيذ عرض مشكلة كلامية رياضية صعبة خطوة بخطوة بحيث يحل النموذج مشكلات مماثلة بنفس تنسيق المنطق. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.