التاليالدليل التالي
مواعيد قطع المعرفة في LLMs
لغة الذكاء الاصطناعي
دليل اللغة AI
لعنة الانعكاس في LLMs
لعنة الانعكاس هي حالة فشل مفاجئة حيث لا يمكن لنموذج اللغة الذي يتعلم "أ هو ب" أن يجيب بشكل موثوق على "ب هو أ". ويكشف أن ماجستير إدارة الأعمال يخزن الحقائق كارتباطات أحادية الاتجاه، وليس كمعرفة متماثلة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
الغوص العميق
تم توثيق لعنة الانعكاس في بحث عام 2023 من قبل بيرجلوند وزملائه، حيث تظهر أنه إذا تم تدريب عارضة الأزياء على "والدة توم كروز هي ماري لي فايفر"، فغالبًا ما تفشل عندما يُسأل "من هو ابن ماري لي فايفر؟" على الرغم من أن الإجابة متطابقة منطقيا. ويستمر التأثير عبر أحجام النماذج وحتى بعد الضبط الدقيق لمئات من هذه الحقائق. إنها ليست فجوة في الذاكرة: لقد شاهد النموذج المعلومات، ولكن بترتيب واحد فقط. ونظرًا لأن التدريب يعمل على تحسين التنبؤ بالرمز التالي على ترتيب الكلمات الدقيق في البيانات، فإن الارتباط الإحصائي من A إلى B لا يؤدي تلقائيًا إلى إنشاء رابط من B إلى A. وقد تحدى هذا الاكتشاف الافتراضات القائلة بأن المقياس وحده ينتج تفكيرًا مرنًا شبيهًا بالإنسان حول الحقائق.
التنفيذ في العالم الحقيقي
يذكر برنامج الدردشة الآلي والد أحد المشاهير بشكل صحيح ولكنه يفشل عندما يُطلب منه تسمية الطفل الشهير لهذا الوالد.
يقرأ أحد العارضين "الرئيس التاسع كان ويليام هنري هاريسون" لكنه يتعثر في "أي رقم كان الرئيس ويليام هنري هاريسون".
لا يمكن لمساعد الترميز الذي تعلم تعيين الوظيفة إلى الوصف استرداد اسم الوظيفة من الوصف وحده.
يفشل نظام ضمان الجودة الطبي الذي تم تدريبه على "علاج الحالة Y للأدوية X" في إدراج الدواء X عند سؤاله عن ما يعالج الحالة Y.
مستقبل لعنة الانعكاس في LLMs
تشمل عمليات التخفيف قيد الدراسة زيادة البيانات ثنائية الاتجاه (إضافة عبارات معكوسة)، وأهداف التدريب التي تتنبأ بالرموز المميزة في كلا الاتجاهين، وأنظمة الاسترجاع التي تبحث عن الحقائق بشكل متماثل بدلاً من الاعتماد على الأوزان المحفوظة. تعمل بعض البنى الأحدث وتجارب التدريب المسبق العكسي على تقليل الفجوة. ونتوقع أن تتقلص اللعنة ولكنها لا تختفي، لأنها تكشف عن عدم تطابق عميق بين التعلم الرمزي التالي والبنية المتماثلة للعلاقات في العالم الحقيقي.
وضعها موضع التنفيذ
لماذا يهم
- السرعة والحجم. يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
- الوصول والوصول. فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
- قرارات أوضح. يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
احترس من
- يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
- يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
- قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
الخطوات التالية
- حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
- استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
- احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
- تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Reversal Curse in LLMs quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Reversal Curse in LLMs?
لعنة الانعكاس هي حالة فشل مفاجئة حيث لا يمكن لنموذج اللغة الذي يتعلم "أ هو ب" أن يجيب بشكل موثوق على "ب هو أ". ويكشف أن ماجستير إدارة الأعمال يخزن الحقائق كارتباطات أحادية الاتجاه، وليس كمعرفة متماثلة.
A model learned “A is B” but fails to answer “B is A.” What is this called?
The paper names this directional failure the reversal curse.
What does the reversal curse show about directional associations?
The paper reports that forward and reverse statements can behave differently.
Is the reversal curse simply a failure because the model never saw the fact?
The research tests failure on a reverse query after forward exposure.
Why might next-token training contribute to the effect?
The paper discusses sequence direction as relevant to the failure.
What does failure on a reverse query imply about model knowledge?
The finding challenges assumptions about flexible use of stored facts.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع