فوری انجیکشن حملے

فوری انجیکشن اس وقت ہوتا ہے جب پوشیدہ یا بدنیتی پر مبنی ہدایات کسی AI سسٹم کو اس کے قواعد کو نظر انداز کرنے اور حملہ آور کی بولی لگانے کے لیے ہائی جیک کرتی ہیں۔ یہ AI معاونین کے لیے سب سے مشکل حل نہ ہونے والے سیکیورٹی مسائل میں سے ایک ہے جو ناقابل اعتماد ٹیکسٹ، ای میلز، یا ویب صفحات پڑھتے ہیں۔

ایک ماڈل اپنے سیاق و سباق میں تمام متن کو ممکنہ طور پر مستند سمجھتا ہے، اس لیے ڈیٹا میں چھپے ہوئے حکموں کی پیروی اس طرح کی جا سکتی ہے جیسے وہ ڈویلپر کی طرف سے آئے ہوں۔

بالواسطہ انجیکشن ویب پیجز، ای میلز، یا دستاویزات میں بدنیتی پر مبنی ٹیکسٹ لگاتا ہے جسے AI ہضم کرتا ہے، صارف کو کوئی نقصان دہ ٹائپ کیے بغیر حملے کو متحرک کرتا ہے۔

چونکہ ہدایات اور اعداد و شمار ایک ہی سیاق و سباق کا اشتراک کرتے ہیں بغیر کسی نافذ شدہ حد کے، اس لیے کمزوری کی جڑ ماڈل کے فن تعمیر میں ہے بجائے اس کے کہ کسی ایک کو درست کیا جا سکے۔

کم سے کم استحقاق اور سینڈ باکس والے ٹول تک رسائی کا مطلب یہ ہے کہ اگر کوئی انجیکشن کامیاب ہو جاتا ہے تو بھی، ماڈل کو ڈیٹا لیک کرنے یا خطرناک کارروائیاں کرنے کی اجازت نہیں ہے۔

ہدایات کے درجہ بندی کی تربیت ایک ماڈل کو سکھاتی ہے کہ نظام کے اشارے کو بازیافت شدہ مواد میں سرایت شدہ متن کے مقابلے میں زیادہ مستند سمجھا جائے، جس سے انجیکشن کے لیے حساسیت کم ہوتی ہے۔