زبان AI گائیڈ
LLMs میں الٹ لعنت
الٹ کرس ایک حیران کن ناکامی کا موڈ ہے جہاں ایک لینگویج ماڈل جو سیکھتا ہے کہ 'A ہے B' قابل اعتماد طریقے سے 'B ہے A' کا جواب نہیں دے سکتا۔ اس سے پتہ چلتا ہے کہ LLM حقائق کو یک جہتی ایسوسی ایشن کے طور پر ذخیرہ کرتے ہیں، نہ کہ ہم آہنگ علم کے طور پر۔
اس گائیڈ کو سنیں۔اے آئی نے بیان کیا۔ · ~2 min
اس صفحہ پر2 منٹ پڑھیں
گہرا غوطہ
Berglund اور ساتھیوں کے 2023 کے ایک مقالے میں دستاویزی، الٹ لعنت سے پتہ چلتا ہے کہ اگر کسی ماڈل کو 'ٹام کروز کی ماں میری لی فائفر ہے' پر تربیت دی جاتی ہے، تو یہ اکثر اس وقت ناکام ہو جاتا ہے جب یہ پوچھا جاتا ہے کہ 'میری لی فائفر کا بیٹا کون ہے؟' اگرچہ جواب منطقی طور پر یکساں ہے۔ اثر ماڈل کے سائز میں اور اس طرح کے سینکڑوں حقائق پر فائن ٹیوننگ کے بعد بھی برقرار رہتا ہے۔ یہ میموری کا فرق نہیں ہے: ماڈل نے معلومات کو دیکھا ہے، لیکن صرف ایک ترتیب میں۔ چونکہ تربیت اعداد و شمار میں درست لفظی ترتیب پر اگلے ٹوکن کی پیشن گوئی کو بہتر بناتی ہے، A سے B تک کا شماریاتی لنک خود بخود B سے A تک ایک لنک نہیں بناتا۔ چیلنج شدہ مفروضوں کو تلاش کرنا جو اکیلے پیمانے سے حقائق پر لچکدار، انسانی جیسا استدلال پیدا ہوتا ہے۔
حقیقی دنیا کا نفاذ
ایک چیٹ بوٹ ایک مشہور شخصیت کے والدین کو صحیح طور پر بیان کرتا ہے لیکن جب اس والدین کے مشہور بچے کا نام بتانے کو کہا جاتا ہے تو وہ ناکام ہوجاتا ہے۔
ایک ماڈل پڑھتی ہے 'نواں صدر ولیم ہنری ہیریسن تھا' لیکن پھر بھی ٹھوکر کھاتا ہے 'ولیم ہنری ہیریسن کون سا نمبر صدر تھا۔'
ایک کوڈنگ اسسٹنٹ جس نے فنکشن ٹو ڈسکرپشن میپنگ سیکھی ہے وہ صرف تفصیل سے فنکشن کا نام بازیافت نہیں کر سکتا۔
'Drug X کا علاج کنڈیشن Y' پر تربیت یافتہ ایک طبی QA سسٹم ڈرگ X کی فہرست میں ناکام رہتا ہے جب یہ پوچھا جائے کہ کنڈیشن Y کا علاج کیا ہے۔
LLMs میں الٹ لعنت کا مستقبل
زیر مطالعہ تخفیف میں دو طرفہ اعداد و شمار کو بڑھانا (الٹ فقرے شامل کرنا)، تربیتی مقاصد جو دونوں سمتوں میں ٹوکن کی پیش گوئی کرتے ہیں، اور بازیافت کے نظام جو یادداشت وزن پر انحصار کرنے کے بجائے حقائق کو ہم آہنگی سے دیکھتے ہیں۔ کچھ نئے آرکیٹیکچرز اور ریورس پری ٹریننگ کے تجربات اس فرق کو کم کرتے ہیں۔ لعنت کے سکڑ جانے کی توقع کریں لیکن ختم نہیں ہوں گی، کیونکہ یہ اگلے ٹوکن سیکھنے اور حقیقی دنیا کے تعلقات کے ہم آہنگ ڈھانچے کے درمیان گہرے مماثلت کو بے نقاب کرتا ہے۔
اسے عملی جامہ پہنانا
یہ کیوں اہمیت رکھتا ہے۔
- رفتار اور پیمانہ. زبان کے کام کے بہاؤ مستقل مزاجی کی قربانی کے بغیر تیزی سے آگے بڑھ سکتے ہیں۔
- رسائی اور رسائی. یہ زبانوں اور مواصلاتی طرزوں تک رسائی کو بڑھاتا ہے۔
- واضح فیصلے. ٹیمیں فیصلے پر زیادہ وقت گزار سکتی ہیں جبکہ آٹومیشن تکرار کو سنبھالتی ہے۔
پر نگاہ رکھیں
- گمراہ شدہ حقائق خاموشی سے رپورٹس، سپورٹ فلو، یا تحقیقی نتائج درج کر سکتے ہیں۔
- فوری حساسیت اسی طرح کی درخواستوں میں متضاد نتائج پیدا کر سکتی ہے۔
- اگر رسائی کے کنٹرول کمزور ہیں تو حساس ٹیکسٹ ڈیٹا کو بے نقاب کیا جا سکتا ہے۔
اگلے اقدامات
- رول آؤٹ سے پہلے آؤٹ پٹ فارمیٹ، ٹون اور معیار کے معیارات کی وضاحت کریں۔
- جب بھی درستگی اہمیت رکھتی ہے تو بھروسہ مند ذرائع کے ساتھ زمینی جوابات۔
- ہائی اسٹیک آؤٹ پٹس کے لیے ایک انسانی جائزہ چیک پوائنٹ رکھیں۔
- ناکامی کے نمونوں کو ٹریک کریں اور پرامپٹس یا ورک فلو کو باقاعدگی سے دوبارہ تربیت دیں۔
دریافت کرتے رہیں
مفت نیوز لیٹر
روزانہ AI بریفنگ حاصل کریں
ہر ہفتے کے دن صبح تین تصدیق شدہ AI کہانیاں، سادہ انگریزی میں لکھی گئیں۔ ہمیشہ کے لیے مفت، کوئی اشتہار نہیں۔
ہر ہفتے کے دن ایک ای میل۔ ایک کلک میں ان سبسکرائب کریں۔ ہم کبھی بھی آپ کا پتہ فروخت یا شیئر نہیں کرتے۔
اپنے آپ کو جانچیں۔
Take the Reversal Curse in LLMs quiz
ہر جواب پر فوری فیڈبیک، اور کورس پاس کرنے کے بعد قابلِ تصدیق ID کے ساتھ شیئر کرنے کے قابل سرٹیفکیٹ۔
مفت AI تعلیم کی حمایت کریں۔ AI Understanding ایک 501(c)(3) غیر منافع بخش ادارہ ہے — کوئی اشتہار نہیں، کوئی پے وال نہیں، کبھی نہیں۔ عطیہ کریں۔
اکثر پوچھے گئے سوالات
What is Reversal Curse in LLMs?
الٹ کرس ایک حیران کن ناکامی کا موڈ ہے جہاں ایک لینگویج ماڈل جو سیکھتا ہے کہ 'A ہے B' قابل اعتماد طریقے سے 'B ہے A' کا جواب نہیں دے سکتا۔ اس سے پتہ چلتا ہے کہ LLM حقائق کو یک جہتی ایسوسی ایشن کے طور پر ذخیرہ کرتے ہیں، نہ کہ ہم آہنگ علم کے طور پر۔
A model learned “A is B” but fails to answer “B is A.” What is this called?
The paper names this directional failure the reversal curse.
What does the reversal curse show about directional associations?
The paper reports that forward and reverse statements can behave differently.
Is the reversal curse simply a failure because the model never saw the fact?
The research tests failure on a reverse query after forward exposure.
Why might next-token training contribute to the effect?
The paper discusses sequence direction as relevant to the failure.
What does failure on a reverse query imply about model knowledge?
The finding challenges assumptions about flexible use of stored facts.
سیکھتے رہیں
متعلقہ گائیڈز
اس موضوع کے لیے مزید گائیڈز چنے گئے ہیں۔