LLMs میں الٹ لعنت
الٹ کرس ایک حیران کن ناکامی کا موڈ ہے جہاں ایک لینگویج ماڈل جو سیکھتا ہے کہ 'A ہے B' قابل اعتماد طریقے سے 'B ہے A' کا جواب نہیں دے سکتا۔ اس سے پتہ چلتا ہے کہ LLM حقائق کو یک جہتی ایسوسی ایشن کے طور پر ذخیرہ کرتے ہیں، نہ کہ ہم آہنگ علم کے طور پر۔
گہرا غوطہ
Berglund اور ساتھیوں کے 2023 کے ایک مقالے میں دستاویزی، الٹ لعنت سے پتہ چلتا ہے کہ اگر کسی ماڈل کو 'ٹام کروز کی ماں میری لی فائفر ہے' پر تربیت دی جاتی ہے، تو یہ اکثر اس وقت ناکام ہو جاتا ہے جب یہ پوچھا جاتا ہے کہ 'میری لی فائفر کا بیٹا کون ہے؟' اگرچہ جواب منطقی طور پر یکساں ہے۔ اثر ماڈل کے سائز میں اور اس طرح کے سینکڑوں حقائق پر فائن ٹیوننگ کے بعد بھی برقرار رہتا ہے۔ یہ میموری کا فرق نہیں ہے: ماڈل نے معلومات کو دیکھا ہے، لیکن صرف ایک ترتیب میں۔ چونکہ تربیت اعداد و شمار میں درست لفظی ترتیب پر اگلے ٹوکن کی پیشن گوئی کو بہتر بناتی ہے، A سے B تک کا شماریاتی لنک خود بخود B سے A تک ایک لنک نہیں بناتا۔ چیلنج شدہ مفروضوں کو تلاش کرنا جو اکیلے پیمانے سے حقائق پر لچکدار، انسانی جیسا استدلال پیدا ہوتا ہے۔
تکنیکی بصیرت
ٹرانسفارمرز پیشگی سیاق و سباق میں دیے گئے اگلے ٹوکن کی پیشن گوئی کرتے ہوئے سیکھتے ہیں، اس لیے گریڈینٹ اپ ڈیٹس ڈائریکشنل میپنگ 'A پھر B' کو مضبوط بناتے ہیں لیکن 'B پھر A' کو اچھوت چھوڑ دیتے ہیں جب تک کہ یہ ترتیب تربیت میں بھی ظاہر نہ ہو۔ دونوں سمتیں الگ الگ وزنی راستوں میں رہتی ہیں۔ محققین نے لاگ ان امکانات کی پیمائش کرکے اس کی تصدیق کی: آگے کی حقیقت کو جاننے کے بعد، معکوس بیان کا امکان بیس لائن کے قریب ہی رہا، جس سے یہ ظاہر ہوتا ہے کہ تربیت کے دوران کوئی مضمر منطقی الٹا واقع نہیں ہوا۔
اسٹریٹجک اثر
رفتار اور پیمانہ
زبان کے کام کے بہاؤ مستقل مزاجی کی قربانی کے بغیر تیزی سے آگے بڑھ سکتے ہیں۔
رسائی اور رسائی
یہ زبانوں اور مواصلاتی طرزوں تک رسائی کو بڑھاتا ہے۔
واضح فیصلے
ٹیمیں فیصلے پر زیادہ وقت گزار سکتی ہیں جبکہ آٹومیشن تکرار کو سنبھالتی ہے۔
LLMs میں الٹ لعنت کا مستقبل
زیر مطالعہ تخفیف میں دو طرفہ اعداد و شمار کو بڑھانا (الٹ فقرے شامل کرنا)، تربیتی مقاصد جو دونوں سمتوں میں ٹوکن کی پیش گوئی کرتے ہیں، اور بازیافت کے نظام جو یادداشت وزن پر انحصار کرنے کے بجائے حقائق کو ہم آہنگی سے دیکھتے ہیں۔ کچھ نئے آرکیٹیکچرز اور ریورس پری ٹریننگ کے تجربات اس فرق کو کم کرتے ہیں۔ لعنت کے سکڑ جانے کی توقع کریں لیکن ختم نہیں ہوں گی، کیونکہ یہ اگلے ٹوکن سیکھنے اور حقیقی دنیا کے تعلقات کے ہم آہنگ ڈھانچے کے درمیان گہرے مماثلت کو بے نقاب کرتا ہے۔
حقیقی دنیا کا نفاذ
ایک چیٹ بوٹ ایک مشہور شخصیت کے والدین کو صحیح طور پر بیان کرتا ہے لیکن جب اس والدین کے مشہور بچے کا نام بتانے کو کہا جاتا ہے تو وہ ناکام ہوجاتا ہے۔
ایک ماڈل پڑھتی ہے 'نواں صدر ولیم ہنری ہیریسن تھا' لیکن پھر بھی ٹھوکر کھاتا ہے 'ولیم ہنری ہیریسن کون سا نمبر صدر تھا۔'
ایک کوڈنگ اسسٹنٹ جس نے فنکشن ٹو ڈسکرپشن میپنگ سیکھی ہے وہ صرف تفصیل سے فنکشن کا نام بازیافت نہیں کر سکتا۔
'Drug X کا علاج کنڈیشن Y' پر تربیت یافتہ ایک طبی QA سسٹم ڈرگ X کی فہرست میں ناکام رہتا ہے جب یہ پوچھا جائے کہ کنڈیشن Y کا علاج کیا ہے۔
خطرات اور گارڈریلز
گمراہ شدہ حقائق خاموشی سے رپورٹس، سپورٹ فلو، یا تحقیقی نتائج درج کر سکتے ہیں۔
فوری حساسیت اسی طرح کی درخواستوں میں متضاد نتائج پیدا کر سکتی ہے۔
اگر رسائی کے کنٹرول کمزور ہیں تو حساس ٹیکسٹ ڈیٹا کو بے نقاب کیا جا سکتا ہے۔
نفاذ کا روڈ میپ
رول آؤٹ سے پہلے آؤٹ پٹ فارمیٹ، ٹون اور معیار کے معیارات کی وضاحت کریں۔
جب بھی درستگی اہمیت رکھتی ہے تو بھروسہ مند ذرائع کے ساتھ زمینی جوابات۔
ہائی اسٹیک آؤٹ پٹس کے لیے ایک انسانی جائزہ چیک پوائنٹ رکھیں۔
ناکامی کے نمونوں کو ٹریک کریں اور پرامپٹس یا ورک فلو کو باقاعدگی سے دوبارہ تربیت دیں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reversal Curse in LLMs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
ChatGPT اور ایل ایل ایم
اکثر پوچھے گئے سوالات
What is Reversal Curse in LLMs?
الٹ کرس ایک حیران کن ناکامی کا موڈ ہے جہاں ایک لینگویج ماڈل جو سیکھتا ہے کہ 'A ہے B' قابل اعتماد طریقے سے 'B ہے A' کا جواب نہیں دے سکتا۔ اس سے پتہ چلتا ہے کہ LLM حقائق کو یک جہتی ایسوسی ایشن کے طور پر ذخیرہ کرتے ہیں، نہ کہ ہم آہنگ علم کے طور پر۔
الٹ لعنت کیا بیان کرتی ہے؟
الٹ لعنت یہ ہے کہ دونوں منطقی طور پر مساوی ہونے کے باوجود 'A ہے B' پر تربیت سے 'B ہے A' کا اندازہ لگانے میں ناکامی ہے۔
الٹ لعنت کیوں ہوتی ہے، میکانکی طور پر؟
چونکہ تربیت عین مشاہدہ شدہ ترتیب میں اگلے ٹوکن کی پیشین گوئی کو بہتر بناتی ہے، اس لیے ریورس میپنگ کو کبھی تقویت نہیں دی جاتی جب تک کہ یہ تربیت میں بھی ظاہر نہ ہو۔
کیا ماڈل کے سائز میں اضافہ قابل اعتماد طریقے سے الٹ جانے والی لعنت کو ٹھیک کرتا ہے؟
اصل مطالعہ نے ماڈل کے سائز کی ایک رینج میں لعنت کو پایا، جس سے یہ ظاہر ہوتا ہے کہ صرف پیمانے ہی اسے حل نہیں کرتے ہیں۔
کون سا تخفیف براہ راست الٹ لعنت کو نشانہ بناتا ہے؟
دو طرفہ اعداد و شمار میں اضافہ ماڈل کو 'A is B' اور 'B is A' دونوں کے سامنے لاتا ہے، جو گمشدہ ریورس ایسوسی ایشن بناتا ہے۔
محققین نے اس بات کی تصدیق کیسے کی کہ ماڈل نے الٹا حقیقت کو واضح طور پر نہیں سیکھا تھا؟
الٹ بیان کا امکان فارورڈ ٹریننگ کے بعد بیس لائن کے قریب ہی رہا، یہ ظاہر کرتا ہے کہ کوئی منطقی الٹا نہیں ہوا تھا۔