اے آئی سیفٹی

AI سیفٹی ایک ایسا شعبہ ہے جو AI سسٹم کو شدید نقصان پہنچانے سے روکنے پر مرکوز ہے - روزمرہ کی ناکامیوں اور جدید، انتہائی قابل نظاموں سے تباہ کن اور وجودی خطرات کے ذریعے غلط استعمال سے۔

AI حفاظت ایک سپیکٹرم پر محیط ہے۔ ایک طرف واقف مصنوعات کے خطرات ہیں: فریب نظر، تعصب، رازداری کا لیک، گھوٹالے، اور غیر محفوظ مشورے۔ دوسری طرف وہ خطرات ہیں جو صلاحیت کے ساتھ بڑھتے ہیں: خود مختار نظام جو غیر ارادی اہداف کو حاصل کرتے ہیں، ایسے ماڈل جو تباہ کن غلط استعمال (پیتھوجینز، سائبر حملے) میں مدد کرتے ہیں، اور مسابقتی ریسیں جو حفاظتی کام کے تیار ہونے سے پہلے لیبز کو تعینات کرنے کے لیے دباؤ ڈالتی ہیں۔ وجودی خطرے کی بحث اس امکان پر مرکوز ہے کہ مستقبل کے AI نظام اتنے طاقتور ہو جائیں کہ ایک ہی ناکامی — غلط ترتیب، کنٹرول میں کمی، یا ناقابل واپسی پھیلاؤ — انسانیت کے مستقبل کو مستقل طور پر روک سکتا ہے۔ تحقیق کو سنجیدگی سے لینے کے لیے آپ کو اس نتیجے کے لیے زیادہ امکان تفویض کرنے کی ضرورت نہیں ہے۔ کم امکان، انتہائی اثر والے خطرات اب بھی تیاری کا جواز پیش کرتے ہیں، جیسا کہ وہ بائیو سیکیورٹی اور نیوکلیئر سیفٹی میں کرتے ہیں۔ آج کے عملی حفاظتی کام میں تشخیص، ریڈ ٹیمنگ، تشریح، کنٹرول تکنیک، گورننس (جو کیا تربیت دے سکتا ہے) اور عوامی سمجھ بوجھ شامل ہیں تاکہ معاشرے اچھی پالیسی کی حمایت کر سکیں۔