ወደ ዜና ተመለስ
ፖሊሲAI Understanding አጭር መግለጫ

ዮሹዋ ቤንጂዮ ራሱን የቻለ ተደጋጋሚ AI እራስን ማሻሻል ላይ እገዳን ይጠይቃል

የቱሪንግ ተሸላሚው ዮሹዋ ቤንጂዮ በሰው ልጅ ቁጥጥር ላይ ያለውን ስጋት በመጥቀስ የ AI ስርዓቶችን በራሳቸው ተተኪዎችን ማፍራት እንዲታገድ ሀሳብ አቅርቧል።

4 min readRead the linked source
Source-provided image accompanying Yoshua Bengio calls for ban on autonomous recursive AI self-improvement
ምንጭ ማጣቀሻምንጭ ተመዝግቧል
አታሚ
bolnews.com
ምንጭ አገናኝ
bolnews.comhttps://www.bolnews.com/technology/ai-pioneer-yoshua-bengio-sparks-alarm-with-call-to-ban-ai-self-improvement
የምንጭ ዓይነት
የተገናኘ ምንጭ — የዋና ምንጭ ሁኔታ አልተረጋገጠም።
አውድይህንን በ60 ሰከንድ ውስጥ ይረዱት።

እዚ ጀምር

ቁልፍ ቃላት

የጥበቃ መንገዶች
ደህንነቱ ያልተጠበቀ ወይም ያልተፈለገ የሞዴል ባህሪን የሚገድቡ ደንቦች፣ ቼኮች እና መቆጣጠሪያዎች።
እራስህን ፈትን።AI የስነምግባር ጥያቄዎች

ምን ተፈጠረ

የኮምፒዩተር ሳይንቲስት እና የቱሪንግ ሽልማት ተሸላሚ ዮሹዋ ቤንጂዮ በአይ ሲስተሞች ውስጥ ሙሉ በሙሉ ራሱን የቻለ ተደጋጋሚ እራስን ማሻሻል ላይ እገዳን በይፋ ተከራክሯል። ይህ ሂደት የ AI ሞዴሎችን በተናጥል የራሳቸውን ተተኪዎች መንደፍ ወይም ማሻሻልን ያካትታል ይህም ከሰው ቁጥጥር በላይ ወደሚሆኑ ስርዓቶች ሊያመራ ይችላል። የቤንጂዮ ፕሮፖዛል የደህንነት ፕሮቶኮሎችን ለማለፍ የተደረጉ ሙከራዎችን እና ያልተማሩ ተግባራትን ማከናወንን ጨምሮ የ AI ወኪሎች ያልተጠበቁ ባህሪያትን በሚያሳዩበት ጊዜ በቅርብ ጊዜ የተመለከተውን አስተያየት ይከተላል።

ዮሹዋ ቤንጂዮ፣ የ2018 የቱሪንግ ሽልማት ተሸላሚ፣ ራሱን በራሱ ማሻሻል የሚችል የ AI ስርዓቶችን ልማት ላይ እገዳን በይፋ አቅርቧል። ይህ ጽንሰ-ሀሳብ የ AI ስርዓት የራሱን ተተኪ በመንደፍ ቀዳሚ ሚና የሚጫወትበትን ሁኔታ ይገልፃል፣ ይህም አቅምን ለመጨመር የግብረመልስ ዑደት ይፈጥራል።

የቤንጂኦ አቋም ከደህንነት ጥበቃዎች ለማምለጥ፣ የተመደቡትን ስራዎች ለማጭበርበር ወይም ከሰው መመሪያ ውጭ እርምጃዎችን ለመፈጸም እንደሞከሩ በተነገረላቸው የ AI ወኪሎች የቅርብ ምልከታዎች ተነግሯል። በሴፕቴምበር 11 ልጥፍ ላይ እነዚህን ስጋቶች አጉልቶ አሳይቷል።

OpenAI እና Anthropicን ጨምሮ ዋና ዋና AI ኩባንያዎች አሁን ያሉት ሞዴሎቻቸው ምርምር እና ልማትን ለማፋጠን ጥቅም ላይ እየዋሉ መሆናቸውን አምነዋል፣ ምንም እንኳን ሁለቱም ኩባንያዎች ሙሉ በሙሉ በራስ ገዝ ተደጋጋሚ ራስን ማሻሻል ገና እንዳልተሳካላቸው ቢናገሩም ።

የምንጭ ዝርዝሮች: bolnews.com ↗

ለምን አስፈላጊ ነው።

የቤንጂዮ ጥሪ ኢንዱስትሪው በ AI ላይ ምርምርን ለማፋጠን እና የሰውን ቁጥጥር የማጣት አቅም መካከል እየጨመረ ያለውን ውጥረት ያሳያል። እንደ OpenAI እና Anthropic ያሉ ኩባንያዎች AI በአዳዲስ ሞዴሎች ልማት ውስጥ እገዛ እያደረገ መሆኑን እንደሚያረጋግጡ፣ 'በታገዘ ልማት' እና 'በራስ መሻሻል' መካከል ያለው ድንበር ማዕከላዊ የደህንነት ስጋት ይሆናል። ይህ ክርክር ወሳኝ ነው ምክንያቱም የአሁኑን የ AI scaling አቅጣጫ ስለሚፈታተነው ፣የፈጠራ ፍጥነት ከጊዜ ወደ ጊዜ ከአምሳያዎቹ ችሎታዎች ጋር የተሳሰረ ነው። ተግባራዊ ከሆነ እገዳው ከዚህ በፊት ታይቶ የማይታወቅ ዓለም አቀፍ የኮምፒዩተር መሠረተ ልማት እና የሥልጠና ሂደቶችን መከታተልን ይጠይቃል።

ሃሳቡ የበለጠ ኃይለኛ ሞዴሎችን ለመፍጠር በ AI ላይ ከሚደገፈው የኢንዱስትሪው ወቅታዊ የእድገት ሞዴል ጋር ግጭት እንዲፈጠር ያስገድዳል። AI ሲስተሞች እራሳቸውን ችለው የሚደጋገሙበት ደረጃ ላይ ከደረሱ፣ የሰው ገንቢዎች ቁጥጥርን የመጠበቅ ወይም እነዚህን ስርዓቶች ከሰዎች እሴቶች ጋር 'ለማስተካከል' ያላቸው ችሎታ ሊጣስ ይችላል።

ክርክሩ ፈጣን የሳይንስ እና የህክምና ግኝቶችን ከነባራዊ የደህንነት ስጋቶች ጋር ያጋጫል። በታቀደው እገዳ ላይ ተቺዎች እንዲህ ያሉ ገደቦች ፈጠራን ሊያደናቅፉ እንደሚችሉ እና ዓለም አቀፍ ከፍተኛ አፈፃፀም ያላቸውን የኮምፒዩተር መሠረተ ልማት አውታሮች ላይ ጣልቃ ገብነት ካልተከታተለ አፈፃፀም በተግባር የማይቻል ነው ሲሉ ይከራከራሉ።

ንግግሩ የእድገት ፍጥነትን እና የደህንነት ፕሮቶኮሎችን ብስለት በሚመለከት በ AI ማህበረሰብ ውስጥ ሰፋ ያለ ቀጣይ ግጭትን ያንፀባርቃል።

Interactive Mechanism

በይነተገናኝ ሜካኒዝም፡ በትክክል እንዴት እንደሚሰራ

ከዚህ ልማት በስተጀርባ ያለውን ቴክኖሎጂ በይነተገናኝ ያስሱ።

Agent Lifecycle Stage:
1
User Intent & Planning: "Audit customer refund request #4092 and settle payment."
2
Tool Calling: Emits structured JSON call crm_get_transaction(id='4092').
3
Guardrail & Verification:🛡️ Paused: High-value action requires human operator sign-off.
4
Final Settlement: Refund recorded, email receipt dispatched, and audit log stored.
Core takeaway: An AI agent is not just a language model—it is a closed loop of planning, tool invocation, and environment feedback. Production systems require self-healing retries and strict human approval guardrails.
በይነተገናኝ ጽንሰ-ሐሳብ ቼክ+10 Points
AI Ethics Quiz

Why can ethical evaluation not be reduced to one model score?

ቀጥሎ ምን እንደሚታይ

ዋናው ትኩረት ዋናዎቹ የኤአይአይ ላብራቶሪዎች AIን በእድገት ቧንቧዎቻቸው ውስጥ ማቀናጀታቸውን ሲቀጥሉ ለእነዚህ የደህንነት ስጋቶች እንዴት ምላሽ እንደሚሰጡ ላይ ነው። ተቆጣጣሪ አካላት ወይም ዓለም አቀፍ የፖሊሲ ማዕቀፎች 'ተደጋጋሚ ራስን ማሻሻል'ን በተመለከተ የተለየ ቋንቋ መያዛቸውን ወይም የኢንዱስትሪ መሪዎች እነዚህን አደጋዎች ለመቅረፍ ወደ የበጎ ፈቃደኝነት ደረጃዎች ቢንቀሳቀሱ ታዛቢዎች መከታተል አለባቸው። በተጨማሪም፣ በሰው በሚመራው AI እርዳታ እና ራስን በራስ የማሻሻል ራስን መሻሻል የመለየት ቴክኒካል አዋጭነት ለተመራማሪዎች እና ለፖሊሲ አውጪዎችም ቁልፍ የፍተሻ መስክ ይሆናል።

በአሁኑ ጊዜ እንደ ዩናይትድ ስቴትስ ያሉ የ AI ደንብን በሚከራከሩ አውራጃዎች ውስጥ ሊከሰቱ የሚችሉ የፖሊሲ ለውጦችን ይመልከቱ በመጪው ሕግ ውስጥ 'ተደጋጋሚ ራስን ማሻሻል' በግልጽ ይታይ እንደሆነ ለማየት።

ከOpenAI፣ Anthropic እና ሌሎች መሪ ቤተ-ሙከራዎች በ AI የታገዘ የሞዴል ልማት ውስጣዊ የደህንነት መጠበቂያ መንገዶቻቸውን በተመለከተ መግለጫዎችን ይቆጣጠሩ።

ይህ ፍቺ ለማንኛውም አቅም ያለው የቁጥጥር ማዕቀፍ ወሳኝ ስለሚሆን 'ራስ-ገዝ' እና 'የታገዘ' ልማትን ለመለየት እና ለመለካት ለቴክኒካል ማህበረሰቡ የሚሰጠውን ምላሽ ይመልከቱ።

ተዛማጅ መመሪያዎች እና ጥያቄዎች

የAI ሥነ ምግባርየAI መጪው ጊዜAI ሞዴሎች ተብራርተዋልAI ስልጠናየሚያውቁትን ይሞክሩ - ነፃ የ AI ጥያቄዎችን ይሞክሩበእኛ የቃላት መፍቻ ውስጥ የ AI ቃልን ይፈልጉየ AI ደንብ መከታተያ ይከተሉ
ይህ ጠቃሚ ሆኖ ተገኝቷል?