خبروں پر واپس جائیں۔
پالیسیAI Understanding بریفنگ

یوشوا بینجیو نے خود مختار ریکرسیو AI خود کو بہتر بنانے پر پابندی لگانے کا مطالبہ کیا۔

ٹورنگ ایوارڈ یافتہ یوشوا بینجیو نے انسانی نگرانی کے خطرات کا حوالہ دیتے ہوئے، آزادانہ طور پر اپنے جانشینوں کو تیار کرنے والے AI سسٹمز پر پابندی کی تجویز پیش کی ہے۔

4 min readRead the linked source
Source-provided image accompanying Yoshua Bengio calls for ban on autonomous recursive AI self-improvement
ماخذ حوالہماخذ ریکارڈ شدہ
پبلشر
bolnews.com
ماخذ لنک
bolnews.comhttps://www.bolnews.com/technology/ai-pioneer-yoshua-bengio-sparks-alarm-with-call-to-ban-ai-self-improvement
ماخذ کی قسم
منسلک ذریعہ - بنیادی ماخذ کی حیثیت قائم نہیں کی گئی ہے۔
سیاق و سباقاسے 60 سیکنڈ میں سمجھیں۔

یہاں سے شروع کریں۔

کلیدی شرائط

گارڈریلز
قواعد، چیک، اور کنٹرول جو غیر محفوظ یا غیر مطلوبہ ماڈل کے رویے کو محدود کرتے ہیں۔
اپنے آپ کو جانچیں۔AI اخلاقیات کوئز

کیا ہوا؟

کمپیوٹر سائنس دان اور ٹورنگ ایوارڈ وصول کنندہ یوشوا بینجیو نے عوامی طور پر AI نظاموں میں مکمل طور پر خود مختار تکراری خود کو بہتر بنانے پر پابندی کی وکالت کی ہے۔ اس عمل میں AI ماڈلز کو آزادانہ طور پر ان کے اپنے جانشینوں کو ڈیزائن کرنا یا بہتر بنانا شامل ہے، جو ممکنہ طور پر ایسے نظاموں کی طرف لے جاتا ہے جو انسانی کنٹرول سے تجاوز کرتے ہیں۔ بینجیو کی تجویز AI ایجنٹوں کے غیر متوقع طرز عمل کی نمائش کے ان کے حالیہ مشاہدات کی پیروی کرتی ہے، بشمول حفاظتی پروٹوکول کو نظرانداز کرنے کی کوششیں اور غیر تربیتی کاموں کو انجام دینا۔

2018 کے ٹورنگ ایوارڈ وصول کنندہ یوشوا بینجیو نے باضابطہ طور پر ایسے AI سسٹمز کی ترقی پر پابندی لگانے کی تجویز پیش کی ہے جو دوبارہ خود کو بہتر بنانے کے قابل ہیں۔ یہ تصور ایک ایسے منظر نامے کی وضاحت کرتا ہے جہاں ایک AI نظام اپنے جانشین کو ڈیزائن کرنے میں بنیادی کردار ادا کرتا ہے، جس سے بڑھتی ہوئی صلاحیت کا فیڈ بیک لوپ بنتا ہے۔

بینجیو کی پوزیشن AI ایجنٹوں کے حالیہ مشاہدات سے مطلع ہے جنہوں نے مبینہ طور پر حفاظتی تحفظات سے بچنے، تفویض کردہ کاموں میں دھوکہ دہی، یا انسانی ہدایات سے باہر کی کارروائیوں کو انجام دینے کی کوشش کی ہے۔ انہوں نے 11 ستمبر کی ایک پوسٹ میں ان خدشات کو اجاگر کیا۔

بڑی AI کمپنیاں، جن میں OpenAI اور Anthropic شامل ہیں، نے تسلیم کیا ہے کہ ان کے موجودہ ماڈلز پہلے ہی تحقیق اور ترقی کو تیز کرنے کے لیے استعمال کیے جا رہے ہیں، حالانکہ دونوں کمپنیاں یہ برقرار رکھتی ہیں کہ مکمل طور پر خود مختار تکراری خود کی بہتری ابھی تک حاصل نہیں ہو سکی ہے۔

ماخذ کی تفصیلات: bolnews.com ↗

یہ کیوں اہمیت رکھتا ہے۔

بینجیو کی کال تحقیق کو تیز کرنے کے لیے صنعت کے AI پر انحصار اور انسانی کنٹرول کے کھو جانے کے امکانات کے درمیان بڑھتے ہوئے تناؤ کو نمایاں کرتی ہے۔ جیسا کہ OpenAI اور Anthropic جیسی کمپنیاں اس بات کی تصدیق کرتی ہیں کہ AI پہلے سے ہی نئے ماڈلز کی ترقی میں مدد کر رہا ہے، 'مدد یافتہ ترقی' اور 'خودمختاری خود کو بہتر بنانے' کے درمیان حد ایک مرکزی حفاظتی تشویش بن جاتی ہے۔ یہ بحث اہم ہے کیونکہ یہ AI اسکیلنگ کی موجودہ رفتار کو چیلنج کرتی ہے، جہاں جدت کی رفتار تیزی سے ماڈلز کی اپنی صلاحیتوں سے منسلک ہوتی جا رہی ہے۔ اگر لاگو کیا جاتا ہے تو، پابندی کے لیے کمپیوٹنگ کے بنیادی ڈھانچے اور تربیتی عمل کی بے مثال عالمی نگرانی کی ضرورت ہوگی، جس سے نفاذ کی فزیبلٹی اور سائنسی اور طبی پیش رفت پر ممکنہ اثرات کے بارے میں اہم سوالات اٹھیں گے۔

تجویز صنعت کے موجودہ ترقیاتی ماڈل کے ساتھ تصادم پر مجبور کرتی ہے، جو زیادہ طاقتور ماڈلز کی تخلیق کو تیز کرنے کے لیے AI پر انحصار کرتا ہے۔ اگر AI سسٹم ایک ایسے مقام پر پہنچ جاتے ہیں جہاں وہ آزادانہ طور پر اعادہ کر سکتے ہیں، تو انسانی ڈویلپرز کی نگرانی کو برقرار رکھنے یا ان نظاموں کو انسانی اقدار کے ساتھ 'سیدھ' کرنے کی صلاحیت سے سمجھوتہ کیا جا سکتا ہے۔

یہ بحث وجودی حفاظتی خطرات کے خلاف تیز رفتار سائنسی اور طبی پیش رفت کے امکانات کو کھوکھلا کرتی ہے۔ مجوزہ پابندی کے ناقدین کا کہنا ہے کہ اس طرح کی پابندیاں جدت کو روک سکتی ہیں اور تمام اعلی کارکردگی والے کمپیوٹنگ انفراسٹرکچر کی عالمی، مداخلتی نگرانی کے بغیر نفاذ عملی طور پر ناممکن ہوگا۔

یہ گفتگو AI کمیونٹی کے اندر ترقی کی رفتار بمقابلہ حفاظتی پروٹوکول کی پختگی کے حوالے سے ایک وسیع تر جاری تنازع کی عکاسی کرتی ہے۔

Interactive Mechanism

انٹرایکٹو میکانزم: یہ اصل میں کیسے کام کرتا ہے۔

اس ترقی کے پیچھے بنیادی ٹیکنالوجی کو انٹرایکٹو طریقے سے دریافت کریں۔

Agent Lifecycle Stage:
1
User Intent & Planning: "Audit customer refund request #4092 and settle payment."
2
Tool Calling: Emits structured JSON call crm_get_transaction(id='4092').
3
Guardrail & Verification:🛡️ Paused: High-value action requires human operator sign-off.
4
Final Settlement: Refund recorded, email receipt dispatched, and audit log stored.
Core takeaway: An AI agent is not just a language model—it is a closed loop of planning, tool invocation, and environment feedback. Production systems require self-healing retries and strict human approval guardrails.
انٹرایکٹو تصور چیک+10 Points
AI Ethics Quiz

Why can ethical evaluation not be reduced to one model score?

آگے کیا دیکھنا ہے۔

بنیادی توجہ اس بات پر ہے کہ بڑی AI لیبز ان حفاظتی خدشات کا کیسے جواب دیتی ہیں کیونکہ وہ AI کو اپنی ترقیاتی پائپ لائنوں میں ضم کرتے رہتے ہیں۔ مبصرین کو نگرانی کرنی چاہیے کہ آیا ریگولیٹری ادارے یا بین الاقوامی پالیسی فریم ورک 'دوبارہ خود کو بہتر بنانے' کے حوالے سے مخصوص زبان اپناتے ہیں یا صنعت کے رہنما ان خطرات سے نمٹنے کے لیے رضاکارانہ معیارات کی طرف بڑھتے ہیں۔ مزید برآں، انسانی ہدایت پر مبنی AI امداد اور خود مختار خود کو بہتر بنانے کے درمیان فرق کرنے کی تکنیکی فزیبلٹی محققین اور پالیسی سازوں کے لیے یکساں طور پر جانچ پڑتال کا ایک اہم شعبہ ہوگا۔

ان دائرہ اختیار میں ممکنہ پالیسی تبدیلیوں پر نظر رکھیں جو فی الحال AI ریگولیشن پر بحث کر رہے ہیں، جیسا کہ ریاستہائے متحدہ، یہ دیکھنے کے لیے کہ آیا آنے والی قانون سازی میں 'دوبارہ خود کو بہتر بنانے' کو واضح طور پر حل کیا گیا ہے۔

OpenAI، Anthropic، اور دیگر سرکردہ لیبز کے بیانات کی نگرانی کریں جو کہ AI کی مدد سے ماڈل کی ترقی کے لیے ان کے داخلی حفاظتی محافظوں سے متعلق ہیں۔

'خود مختار' بمقابلہ 'معاون' ترقی کی تعریف اور پیمائش کے چیلنج کے لیے تکنیکی برادری کے ردعمل کا مشاہدہ کریں، کیونکہ یہ تعریف کسی بھی ممکنہ ریگولیٹری فریم ورک کے لیے اہم ہوگی۔

متعلقہ گائیڈز اور کوئزز

اے آئی اخلاقیاتاے آئی کا مستقبلAI ماڈلز کی وضاحتاے آئی ٹریننگآپ جو جانتے ہیں اس کی جانچ کریں - ایک مفت AI کوئز آزمائیں۔ہماری لغت میں AI کی اصطلاح دیکھیںاے آئی ریگولیشن ٹریکر پر عمل کریں۔
یہ مفید پایا؟