کیا ہوا؟
دی کرپٹونومسٹ نے رپورٹ کیا ہے کہ ارول ندھی کروناندھی کے ایک تحقیقی مقالے میں جانچ پڑتال کی گئی ہے کہ مستقل میموری میں ڈالی جانے والی غلط معلومات بعد کے سیشنوں میں AI ایجنٹوں کو کس طرح متاثر کر سکتی ہیں۔ رپورٹ کردہ ٹیسٹوں میں زہریلے ڈیٹا کی ایک چھوٹی سی مقدار سے کافی درستگی کے نقصانات اور مواد کی اسکریننگ اور پرووننس پر مبنی بازیافت دفاع دونوں میں کمزوریاں پائی گئیں۔ مقالے میں باؤنڈڈ قبضے کی رکاوٹوں کو بازیافت کے وقت کی روک تھام کے طریقہ کار کے طور پر تجویز کیا گیا ہے۔ فراہم کردہ ماخذ مواد سے نتائج کی آزادانہ طور پر تصدیق نہیں کی گئی ہے۔
کرپٹونومسٹ نے رپورٹ کیا ہے کہ کاغذ نے AI ایجنٹوں میں مستقل میموری کا مطالعہ کیا: پہلے کی بات چیت کی معلومات کو ذخیرہ کیا جاتا ہے اور بعد میں جب کوئی نیا سوال متعلقہ ظاہر ہوتا ہے تو اسے دوبارہ حاصل کیا جاتا ہے۔ سیکیورٹی تشویش یہ ہے کہ اس اسٹور میں رکھا گیا ایک غلط بیان مستقبل کے سیشنوں میں دستیاب رہ سکتا ہے۔ رپورٹ کے مطابق مسئلہ صرف ایک بار نظر آنے والے فریب تک محدود نہیں ہے۔ زہریلی یادداشت کو بعد میں معاون سیاق و سباق کے طور پر پیش کیا جا سکتا ہے، ممکنہ طور پر کسی ایجنٹ کو غلط جواب کی طرف لے جایا جاتا ہے یہاں تک کہ جب اصل اندراج صارف کو نظر نہیں آتا ہے۔
رپورٹ میں کہا گیا ہے کہ محققین نے لانگ میم ایول کارپس کے 1.2 فیصد کو صاف الفاظ میں جھوٹے دعووں کے ساتھ زہر دیا تھا۔ کرپٹونومسٹ دعویٰ کو ایک ہی پاس میں پیدا ہونے کے طور پر بیان کرتا ہے، بغیر خصوصی محرکات، تیار کردہ ہدایات، یا دوبارہ حاصل کرنے والے ٹیوننگ کے حملے کو آسان بنانے کے لیے۔ رپورٹ کردہ ٹیسٹ میں، بازیافت کی درستگی 0.850 سے 0.300 تک گر گئی۔ وہ اعداد و شمار مادی ہیں کیونکہ وہ کارپس کے نسبتاً چھوٹے زہریلے حصے سے ایک بڑی تبدیلی کو بیان کرتے ہیں، حالانکہ ماخذ اس بات کا تعین کرنے کے لیے کافی طریقہ کار کی تفصیل فراہم نہیں کرتا ہے کہ ٹیسٹ تعیناتی نظاموں کا کتنا نمائندہ ہے۔
کرپٹونومسٹ نے یہ بھی رپورٹ کیا ہے کہ چار مراحل کی رائٹ ٹائم اسکریننگ پائپ لائن نے بالواسطہ فوری انجیکشن کی 0.832 کوششوں کا پتہ لگایا اور 1.5% ٹرگر-ورڈ-ہیوی بے نائن ٹیکسٹ کو مشکوک قرار دیا۔ یہ کارکردگی غلط یادوں میں منتقل نہیں ہوئی: پائپ لائن نے رپورٹ شدہ ٹیسٹ میں 360 زہریلی یادوں کے صفر کو مسترد کر دیا۔ مضمون میں کہا گیا ہے کہ یہ صرف مواد کی اسکریننگ کی ایک حد کی عکاسی کرتا ہے، جو مشتبہ ہدایات کی آسانی سے اس بات کا تعین کر سکتا ہے کہ آیا کوئی پرسکون، قابل فہم دعویٰ درست ہے۔ ماخذ آزادانہ طور پر کاغذ کے کوڈ، ڈیٹاسیٹ کی تعمیر، یا تشخیصی پروٹوکول کو یہ کہنے سے آگے دستاویز نہیں کرتا ہے کہ ٹیسٹنگ ہارنس، کارپورا، اور مجموعی طور پر رن رپورٹس جاری کی گئیں۔
ماخذ کی تفصیلات: en.cryptonomist.ch ↗
یہ کیوں اہمیت رکھتا ہے۔
مستقل میموری کا استعمال تیزی سے AI ایجنٹوں کو سیشنوں میں معلومات لے جانے کے لئے کیا جاتا ہے۔ اگر قابل فہم جھوٹ عام اسکریننگ سے بچ سکتے ہیں اور بعد میں بازیافت پر اثر انداز ہوسکتے ہیں، تو میموری محض سہولت کی خصوصیت کے بجائے ایک حفاظتی حد بن جاتی ہے۔ رپورٹ کردہ نتائج بتاتے ہیں کہ سسٹمز کو ایسے حفاظتی اقدامات کی ضرورت ہو سکتی ہے جو حقائق کی تصدیق، پرویننس ٹریکنگ، اور انسانی جائزے کے ساتھ ساتھ کسی ایک ذریعہ کے اثر و رسوخ کو محدود کریں۔
رپورٹ کردہ مسئلہ اہمیت رکھتا ہے کیونکہ مستقل یادداشت AI ایجنٹوں کے اعتماد کے ماڈل کو تبدیل کر سکتی ہے۔ ایک روایتی چیٹ بوٹ ایک تبادلے میں غلط جواب دے سکتا ہے۔ پائیدار میموری والا ایجنٹ بعد کے کام میں غلط بنیاد رکھ سکتا ہے۔ اگر اس بنیاد کو سیاق و سباق کے طور پر بازیافت کیا جاتا ہے، تو یہ منصوبہ بندی، خلاصہ، سفارشات، یا ٹول کے استعمال کو متاثر کر سکتا ہے۔ ماخذ ان میں سے کوئی حقیقی دنیا کے نتائج کو ظاہر نہیں کرتا ہے، لیکن یہ ایک ایسے طریقہ کار کی نشاندہی کرتا ہے جس کے ذریعے ذخیرہ شدہ غلط معلومات کی ایک چھوٹی سی مقدار پائیدار اور بار بار متعلقہ بن سکتی ہے۔
ماخذ کا اکاؤنٹ پرووینس لیبلز پر سادہ انحصار کو بھی چیلنج کرتا ہے۔ کرپٹونومسٹ نے رپورٹ کیا ہے کہ ڈیفالٹ پرووینس وزنی بازیافت اعداد و شمار کے لحاظ سے الگ نہیں تھی جس میں کوئی دفاع نہیں تھا، جس کی رپورٹ کی گئی پی-ویلیو 0.80 تھی۔ غیر بھروسہ مند مواد کو مکمل طور پر چھوڑ کر ہی مضبوط وزن نے افادیت کو بہتر بنایا۔ ایک مخلوط پرووننس ٹیسٹ میں، ناقابل اعتماد مواد کو چھوڑ کر درستگی کو 0.3167 سے بڑھا کر 0.7000 کر دیا گیا جب وہ مواد زیادہ تر بے نظیر تھا۔ جب ضروری شواہد کو ناقابل اعتماد کا لیبل لگا دیا گیا، تاہم، رپورٹ کہتی ہے کہ شواہد کی واپسی صفر پر گر گئی اور درستگی 0.0417 تک گر گئی۔
اس ٹریڈ آف کا میموری سے چلنے والے ایجنٹوں کا استعمال کرنے والے ڈویلپرز اور تنظیموں کے لیے عملی مضمرات ہیں۔ ماخذ کا لیبل مفید ہو سکتا ہے، لیکن یہ دعویٰ کے درست ہونے کے ثبوت کے مترادف نہیں ہے۔ لیبلز پر حد سے زیادہ انحصار قابل اعتماد زمرے سے زہر آلود معلومات کو گزرنے کی اجازت دے سکتا ہے، جبکہ جارحانہ فلٹرنگ کسی ایسے ذریعہ سے درست معلومات کو ہٹا سکتی ہے جسے ناقابل اعتماد کے طور پر درجہ بندی کیا گیا ہے۔ رپورٹ کردہ تجویز، پابند قبضے کی رکاوٹیں، مقصد کو ہر جھوٹ کی شناخت سے اس حد تک محدود کرتی ہے کہ کوئی ایک ذریعہ یا زمرہ کتنا بازیافت شدہ ثبوت فراہم کر سکتا ہے۔ ماخذ یہ قائم نہیں کرتا ہے کہ یہ نقطہ نظر آپریشنل ماحول میں بہتر ہے۔
انٹرایکٹو میکانزم: یہ اصل میں کیسے کام کرتا ہے۔
اس ترقی کے پیچھے بنیادی ٹیکنالوجی کو انٹرایکٹو طریقے سے دریافت کریں۔
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
آگے کیا دیکھنا ہے۔
اہم سوالات یہ ہیں کہ آیا رپورٹ شدہ اثرات لانگ میم ایول سیٹنگ کے باہر دوبارہ پیدا ہوتے ہیں، کس طرح پابند قبضے کی رکاوٹیں مضبوط یا انکولی حملوں کے خلاف کارکردگی کا مظاہرہ کرتی ہیں، اور ان کی درستگی پر کیا لاگت آتی ہے۔ ماخذ یہ ثابت نہیں کرتا ہے کہ تعینات کردہ تجارتی ایجنٹ سے سمجھوتہ کیا گیا ہے، حقیقی دنیا کے شکار کی شناخت کی گئی ہے، یا یہ ظاہر نہیں کیا گیا ہے کہ مجوزہ دفاع پیداوار میں کام کرتا ہے۔ کرپٹونومسٹ کا یہ بھی کہنا ہے کہ اس کا مضمون مصنوعی ذہانت کی مدد سے تیار کیا گیا تھا اور اس کی ادارتی ٹیم نے اس کا جائزہ لیا تھا۔
پہلی ترجیح آزاد نقل ہے۔ کرپٹونومسٹ ان نتائج کو ارولندھی کروناندھی کے ایک مقالے سے منسوب کرتا ہے اور کہتا ہے کہ سپورٹنگ ہارنسز، کارپورا، اور مجموعی رپورٹس جاری کی گئیں، لیکن فراہم کردہ مضمون پیپر کے arXiv ریکارڈ کی شناخت نہیں کرتا یا براہ راست تکنیکی جائزہ فراہم نہیں کرتا ہے۔ محققین کو جانچنا چاہیے کہ آیا 1.2% زہر کی شرح اور رپورٹ کردہ درستگی کی تبدیلی مختلف میموری آرکیٹیکچرز، بازیافت کے طریقوں، کارپس کے سائز اور ایجنٹ کے کاموں میں برقرار رہتی ہے۔ صرف LongMemEval کے نتائج کو ہر تعینات کردہ ایجنٹ کے خطرے کی پیمائش کے طور پر نہیں سمجھا جانا چاہئے۔
مجوزہ باؤنڈڈ قبضے کے دفاع کو بھی حقیقت پسندانہ بازیافت کے رویے کے خلاف جانچ کی ضرورت ہے۔ ایک ذریعہ یا زمرے سے شواہد کے حصہ کو محدود کرنے سے زہر کی مرتکز مہم کی وجہ سے ہونے والے نقصان کو کم کیا جا سکتا ہے، لیکن یہ ایک ایجنٹ کو جواب دینے سے بھی محروم کر سکتا ہے جب سب سے زیادہ متعلقہ ثبوت کسی ایک ذریعہ سے آتا ہے۔ اس لیے مفید تشخیص حملہ مزاحمت اور عام کام کی کارکردگی دونوں کی پیمائش کرے گا، بشمول ایسے معاملات جن میں قابل اعتماد اور ناقابل اعتماد ثبوت ملے جلے ہیں یا لیبل غلط ہیں۔ ذریعہ تجویز کی اطلاع دیتا ہے لیکن پیداوار کے نتائج، تعیناتی کی تفصیلات، یا بیرونی زمینی نظام کے ساتھ موازنہ نہیں کرتا ہے۔
آخر میں، تنظیموں کو اس بات کا ثبوت دیکھنا چاہئے کہ میموری سسٹم ریکارڈ کرتا ہے کہ دعوی کہاں سے آیا ہے، صارفین کو ذخیرہ شدہ یادوں کا معائنہ کرنے یا درست کرنے کی اجازت دیتا ہے، اور غیر تصدیق شدہ دعووں کو قائم شدہ حقائق سے الگ کرتا ہے۔ یہ تحقیق کے لیے عملی تحفظات ہیں، نہ کہ اس مضمون کے ذریعے ظاہر کیے گئے نتائج۔ رپورٹ کسی خلاف ورزی، سمجھوتہ شدہ پروڈکٹ، تجارتی تعیناتی، یا تصدیق شدہ حملہ آور کی شناخت نہیں کرتی ہے۔ اس سے یہ بھی ظاہر نہیں ہوتا کہ آیا زہر آلود یادوں کو بغیر اجازت کے لائیو سسٹم میں داخل کیا جا سکتا ہے۔ چونکہ مضمون میں کہا گیا ہے کہ اسے AI کی مدد سے تیار کیا گیا تھا اور ادارتی طور پر اس کا جائزہ لیا گیا تھا، اس لیے بنیادی کاغذ اور جاری کیے گئے نمونے کو سیکیورٹی پالیسی ترتیب دینے کے لیے عددی نتائج کے استعمال سے پہلے براہ راست جانچ کی ضرورت ہوتی ہے۔