التاليالدليل التالي
التمثيل وانحياز أخذ العينات في مجموعات البيانات
التقنية
الدليل الفني
أخذ العينات المجدولة والتحيز التعرض
انحياز التعريض هو الفجوة التي تظهر عندما يجب على النموذج الذي تم تدريبه على البادئات المثالية فقط، عند الاستدلال، أن يعتمد على مخرجاته غير الكاملة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
Scheduled sampling is a curriculum that gradually closes that gap.
الغوص العميق
النماذج التي تم تدريبها بإجبار المعلم لا ترى سوى رموز الحقيقة الأرضية كسياق، ولكن في وقت الجيل تقوم بتغذية تنبؤاتها الخاصة. عندما يؤدي خطأ مبكر إلى وصول النموذج إلى حالة لم يواجهها من قبل أثناء التدريب، يمكن أن تتزايد الأخطاء، وهو وضع فشل يسمى انحياز التعرض. يعالج أخذ العينات المجدولة، الذي قدمه بينجيو وزملاؤه في عام 2015، هذه المشكلة عن طريق رمي عملة معدنية في كل خطوة من خطوات فك التشفير أثناء التدريب: مع بعض الاحتمال، فإنه يغذي الرمز الحقيقي (إجبار المعلم)، وبخلاف ذلك فإنه يغذي تنبؤ النموذج الخاص بالعينة. تبدأ احتمالية استخدام الحقيقة الأساسية بالقرب من الواحد وتتلاشى مع التدريب من خلال جدول زمني (خطي أو أسي أو معكوس سيني)، لذلك يتعرض النموذج تدريجيًا لمخرجاته الخاصة ويتعلم التعافي من أخطائه.
التنفيذ في العالم الحقيقي
تدريب نموذج التسميات التوضيحية للصور باستخدام عينات مجدولة حتى يتعلم الاستمرار بأمان بعد كلمة متوقعة غير كاملة
تدهور احتمالية إجبار المعلم على استخدام جدول سيني معكوس في نظام الترجمة الآلية العصبية
تشخيص روبوت الدردشة الذي ينجرف إلى حلقات غير متماسكة كعرض من أعراض تحيز التعرض من إجبار المعلم النقي
مقارنة درجات BLEU لملخص تم تدريبه مع فرض المعلم الكامل مقابل واحد تم تدريبه باستخدام أخذ العينات المجدولة
مستقبل أخذ العينات المجدولة وتحيز التعرض
بالنسبة لنماذج لغة المحولات الكبيرة، يتم مناقشة التأثير العملي لانحياز التعرض، نظرًا لأن البيانات الضخمة والحجم يضعفانه، وأساليب مثل RLHF تعيد تشكيل سلوك التوليد مباشرة. ومع ذلك، يظل أخذ العينات المجدولة وأحفاده مناسبًا للنماذج الأصغر حجمًا، والتوليد المنظم، والمهام التي تتطلب دقة صارمة. يمزج العمل المستقبلي بين التعرض للمناهج الدراسية، وأهداف تسلسل أسلوب التعزيز، والتدريب على الحد الأدنى من المخاطر لمواءمة كيفية تدريب النماذج مع كيفية فك تشفيرها فعليًا.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Scheduled Sampling and Exposure Bias quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Scheduled Sampling and Exposure Bias?
انحياز التعريض هو الفجوة التي تظهر عندما يجب على النموذج الذي تم تدريبه على البادئات المثالية فقط، عند الاستدلال، أن يعتمد على مخرجاته غير الكاملة. أخذ العينات المجدولة هو المنهج الذي يسد هذه الفجوة تدريجيا.
ماذا يفعل أخذ العينات المجدولة أثناء التدريب؟
يمزج أخذ العينات المجدولة بشكل عشوائي بين الحقيقة الأرضية والرموز المميزة التي تم إنشاؤها بواسطة النموذج كمدخلات لوحدة فك التشفير، والتي يتم التحكم فيها من خلال احتمالية متضائلة.
كيف يتغير احتمال استخدام رمز الحقيقة الأرضية مع التدريب في أخذ العينات المجدولة؟
يبدأ الجدول الزمني تقريبًا بإجبار المعلم بشكل كامل ثم يتحلل، لذا يتعرض النموذج بشكل متزايد لتوقعاته الخاصة أثناء تحسنه.
من الذي قدم أخذ العينات المجدولة، ومتى تقريبًا؟
تم اقتراح أخذ العينات المجدولة بواسطة Samy Bengio وزملاؤه في عام 2015 للتنبؤ بالتسلسل مع الشبكات المتكررة.
ما هو شكل الجدول الزمني الذي يتم الاستشهاد به بشكل شائع لتقليل احتمالية إجبار المعلم؟
اقترح العمل الأصلي جداول تحلل خطية وأسية وعكسية للسينية لتقليل احتمالية أخذ عينات الحقيقة الأرضية.
At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
Scheduled sampling sometimes feeds the model’s own sampled prediction instead of the gold previous token.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع