Pada si Iroyin
ÀàbòAI Understanding finifini

Iwe ipo ti o jiyan awọn aṣoju AI le fa ipalara ti iṣakoso eniyan ti wọn gbẹkẹle

Iwe ipo ipo arXiv tuntun kan jiyan pe fifun awọn aṣoju AI diẹ sii ni ominira le ṣe irẹwẹsi idajọ eniyan ti o nilo lati ṣakoso wọn daradara.

5 min readRead the primary source
Primary-source image accompanying Position paper argues AI agents can erode the human oversight they rely on
Iwe aṣẹ orisun akọkọOrisun ti o gbasilẹ
Olutẹwe
arxiv.org
Orisun ọna asopọ
arxiv.orghttps://arxiv.org/abs/2608.23642
Orisun iru
Iwe akọkọ - ikede osise, iwe, iforukọsilẹ, tabi oju-iwe ẹgbẹ akọkọ ti a ka taara.
AtokọLoye eyi ni iṣẹju 60

Bẹrẹ nibi

Awọn ofin bọtini

Ọran Ailewu
Ariyanjiyan ti a ṣeto, ti atilẹyin nipasẹ ẹri, pe eto AI jẹ ailewu fun asọye asọye ti lilo.
AI Aṣoju
Eto sọfitiwia ti o le ṣe akiyesi, ronu, ati ṣe awọn iṣe lati ṣaṣeyọri ibi-afẹde kan, nigbagbogbo lilo awọn irinṣẹ ati iranti.
Ṣe idanwo fun ara rẹAI Aṣoju adanwo

Kini o ṣẹlẹ

Awọn oniwadi Margaret Mitchell, Avijit Ghosh ati Samir Passi jiyan ni iwe ipo kan pe awọn aṣa aṣoju AI lọwọlọwọ ko ṣe atilẹyin abojuto eniyan ni deede. Wọn sọ pe igbẹkẹle ti o gbooro si awọn eto adaṣe tun le dinku awọn agbara oye ti awọn alabojuto nilo lati lo idajọ to ṣe pataki.

Iwe arXiv ti a fi silẹ ni Oṣu Kẹjọ Ọjọ 24, Ọdun 2026, jiyan pe imọran boṣewa ti fifi eniyan pamọ “ninu lupu” kii ṣe, funrararẹ, idahun ti o gbẹkẹle si awọn ewu ti awọn aṣoju AI ti o ni adase. Awọn onkọwe, Margaret Mitchell, Avijit Ghosh ati Samir Passi, ṣe apejuwe iṣẹ wọn gẹgẹbi iwe ipo dipo ijabọ ti awoṣe AI tuntun, imuṣiṣẹ ọja tabi idanwo iṣakoso.

Ibeere aringbungbun rẹ ni pe awọn isunmọ lọwọlọwọ si idagbasoke ati gbigbe awọn aṣoju AI le ba awọn ipo ti o nilo fun abojuto eniyan ti o munadoko. Awọn onkọwe ṣe idanimọ awọn iṣoro meji ti o jọmọ. Ni akọkọ, wọn jiyan pe ọna ti awọn aṣoju AI ṣe apẹrẹ le ṣe idiwọ abojuto to munadoko. Alabojuto le ṣe idaduro aṣẹ ni imọ-ẹrọ lakoko ti ko ni alaye, iṣakoso tabi aye iwulo ti o nilo lati ṣe iṣiro ohun ti aṣoju n ṣe. Ẹlẹẹkeji, wọn jiyan pe lilo adaṣe adaṣe gigun le dinku awọn agbara oye ti o nilo fun abojuto. Ninu ilana iwe, adaṣe kii ṣe iyipada pinpin iṣẹ nikan; o tun le ṣe irẹwẹsi awọn ọgbọn eniyan ti iṣeto abojuto ro pe yoo wa.

Iwe naa so iṣẹ pọ lori adaṣe ati ibaraenisepo eniyan-kọmputa si awọn ilana aṣoju AI. O pe fun awọn ifarada ipele apẹrẹ ati awọn ilana ilana ti a pinnu lati ṣe atilẹyin idajọ to ṣe pataki nipasẹ awọn alabojuto ati koju atrophy olorijori ti o ni nkan ṣe pẹlu lilo adaṣe gigun. Áljẹbrà naa ko ṣe iṣiro awọn anfani tabi awọn ilana ni awọn alaye, nitorinaa awọn ọna ṣiṣe pato wọn ati awọn ibeere imuse ko le ṣe iṣeto lati ọrọ orisun ti a pese. Iṣeduro gbooro ti awọn onkọwe ni pe awọn iwulo eniyan yẹ ki o ṣe itọju bi pataki bi agbara oluranlowo nigbati awọn eto ba ti ni ilọsiwaju.

Wọn kilọ pe laisi atilẹyin gbangba fun awọn ibeere oye ti ibaraenisepo aṣoju-eniyan, awọn aṣoju AI le ṣe iyanju lainidi ibajẹ ti awọn ọgbọn eniyan lori eyiti aabo ati iṣiro wọn dale. Iyẹn jẹ ariyanjiyan nipa apẹrẹ eto ati iṣakoso, kii ṣe ẹri pe gbogbo aṣoju AI lọwọlọwọ ti tẹlẹ ti nipo awọn oluṣe ipinnu eniyan tabi fa idinku imọ iwọnwọn.

Awọn alaye orisun: arxiv.org ↗

Kini idi ti o ṣe pataki

Iwe naa yipada akiyesi lati boya eniyan wa ni deede si boya eniyan yẹn le loye ni itumọ, koju ati laja ninu awọn iṣe aṣoju kan. Ariyanjiyan rẹ ni awọn ipa fun apẹrẹ ati imuṣiṣẹ ti awọn eto AI ti a lo pẹlu aṣẹ ti o wulo.

Ojuami ti o ṣe pataki julọ ti iwe naa ni pe ilowosi eniyan lasan le ma dogba iṣakoso eniyan ti o nilari. Eniyan ti a yan lati ṣe atẹle aṣoju AI kan le tun ko lagbara lati ṣakoso rẹ daradara ti eto naa ba jẹ ki awọn iṣe rẹ nira lati ni oye, ṣafihan alaye ni aibojumu, fi opin si idasi, tabi ṣe iwuri ifọwọsi igbagbogbo. Orisun naa ko beere pe eyikeyi wiwo kan tabi imuṣiṣẹ ti ṣe agbejade awọn ikuna wọnyi, ṣugbọn o ṣe idanimọ ibeere aabo ti o wulo: kini eniyan gbọdọ ni anfani lati mọ ati ṣe fun abojuto lati jẹ gidi dipo ilana?

Ariyanjiyan naa tun ṣe afihan eewu ti o kere si ti adaṣe. Ti awọn eniyan ba tun da duro leralera si awọn iṣeduro adaṣe tabi dawọ adaṣe adaṣe awọn ọgbọn abẹlẹ, agbara wọn lati ṣawari awọn aṣiṣe, awọn ero inu ibeere ati ṣiṣe ni ominira le dinku. Fun awọn aṣoju AI ti o le ṣe awọn iṣẹ-ṣiṣe-ọpọ-igbesẹ tabi ṣiṣẹ pẹlu isọdọkan ti o pọ si, awọn ọran ti o ṣeeṣe nitori ilowosi nigbagbogbo waye nikan nigbati nkan kan ba jẹ aṣiṣe. Eto alabojuto le nitorina di igbẹkẹle ti o kere si ni deede bi aṣoju ṣe gba ojuse diẹ sii.

Ilana yii jẹ pataki si awọn ẹgbẹ ti n pinnu iye aṣẹ lati fun awọn aṣoju AI. O ni imọran pe awọn atunwo imuṣiṣẹ yẹ ki o ṣe ayẹwo kii ṣe deede awoṣe nikan tabi ipari iṣẹ-ṣiṣe, ṣugbọn tun ipa eniyan ni ayika eto naa: boya awọn alabojuto gba ipo ti o to, boya wọn le koju tabi da awọn iṣe duro, ati boya oye tiwọn jẹ itọju ni akoko pupọ. Iwọnyi jẹ awọn ipa ti ariyanjiyan awọn onkọwe, kii ṣe awọn awari ti iwe naa ṣafihan kọja ile-iṣẹ kan pato tabi olugbe.

Iwe naa tun wulo ni gbooro nitori pe o tọju agbara eniyan gẹgẹbi apakan ti ọran aabo fun awọn eto aṣoju AI. Ti aṣoju kan ba da lori idajọ eniyan, lẹhinna titọju idajọ naa di ibeere eto dipo ikẹkọ tabi ọran oṣiṣẹ ti a ṣafikun lẹhin imuṣiṣẹ. Orisun naa ko fi idi rẹ mulẹ pe ọna ti a dabaa yoo ṣiṣẹ, ṣugbọn o ṣe ọran kan fun iṣiro abojuto bi agbara ti nṣiṣe lọwọ ti o gbọdọ ṣe apẹrẹ, atilẹyin ati ṣetọju.

Interactive Mechanism

Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ

Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.

Agent Lifecycle Stage:
1
User Intent & Planning: "Audit customer refund request #4092 and settle payment."
2
Tool Calling: Emits structured JSON call crm_get_transaction(id='4092').
3
Guardrail & Verification:🛡️ Paused: High-value action requires human operator sign-off.
4
Final Settlement: Refund recorded, email receipt dispatched, and audit log stored.
Core takeaway: An AI agent is not just a language model—it is a closed loop of planning, tool invocation, and environment feedback. Production systems require self-healing retries and strict human approval guardrails.
Ibanisọrọ Erongba Ṣayẹwo+10 Points
AI Agents Quiz

An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?

Kini lati wo tókàn

Awọn ibeere pataki ni boya awọn ifarada apẹrẹ ti a dabaa ati awọn ilana ilana imudara iṣabojuto agbaye gidi, bawo ni atrophy ọgbọn yẹ ki o ṣe iwọn, ati boya awọn olupilẹṣẹ ati awọn olupolowo gba awọn aabo ti o tọju awọn iwulo alabojuto bi ibeere eto ipilẹ.

Ibeere lẹsẹkẹsẹ ni kini iwe kikun tumọ si nipasẹ “awọn ifarada ipele-apẹrẹ.” Orisun ti a pese n ṣe idanimọ wọn gẹgẹbi awọn ọna ṣiṣe ti a pinnu lati ṣe iranlọwọ fun awọn alabojuto lo idajọ pataki, ṣugbọn ko ṣe pato fọọmu wọn, bawo ni wọn ṣe le ṣe ajọṣepọ pẹlu ominira aṣoju, tabi ẹri wo ni yoo fihan pe wọn ṣiṣẹ. Awọn alaye wọnyẹn yoo pinnu boya imọran naa le ṣe itọsọna adaṣe imọ-ẹrọ tabi wa ni akọkọ ilana ilana imọran.

A keji ibeere ni bi olorijori atrophy yẹ ki o wa won. Awọn ijẹri afọwọṣe ti lilo adaṣe ti o gbooro le dinku awọn agbara oye ti o nilo fun abojuto, ṣugbọn ko pese iṣiro pipo, olugbe iwadi, ipade akoko tabi ẹgbẹ lafiwe. Iwadi siwaju sii yoo nilo lati ṣalaye iru awọn ọgbọn ti o wa ninu ewu, labẹ awọn ipo wo, ati boya ikẹkọ, yiyi iṣẹ-ṣiṣe, adaṣe mọọmọ tabi awọn igbese eto miiran le ṣe itọju wọn.

Igbelewọn yẹ ki o tun lọ kọja boya aṣoju kan pari iṣẹ-ṣiṣe ti a yàn. Awọn ọna ṣiṣe ti o ṣe daradara lori awọn metiriki iṣẹ-ṣiṣe le tun ṣẹda awọn iṣoro abojuto ti wọn ba ṣiyeju aidaniloju, ṣe idasilo ni iye owo tabi gba eniyan niyanju lati fọwọsi awọn abajade laisi atunyẹwo ominira. Orisun naa ṣe atilẹyin wiwo fun awọn igbelewọn ti o ṣe idanwo ibaraenisepo aṣoju-eniyan ati awọn abajade gidi-aye, botilẹjẹpe ko ṣe ijabọ funrarẹ iru igbelewọn.

Nikẹhin, awọn olupolowo yoo nilo lati pinnu ibiti ojuse wa nigbati abojuto jẹ alailagbara nipasẹ apẹrẹ eto tabi adaṣe eto. Awọn onkọwe rọ awọn olupilẹṣẹ ati awọn olupolowo lati gba awọn iṣeduro wọn tabi awọn ọna ti o jọra, ṣugbọn orisun ko ṣe pato awọn iṣedede ofin, awọn ibeere ilana, awọn idari-apakan pato tabi awọn ọna ṣiṣe iṣiro. Ko tun fi idi rẹ mulẹ boya ariyanjiyan kan dọgbadọgba kọja awọn ọna faaji aṣoju oriṣiriṣi, awọn iṣẹ-ṣiṣe tabi awọn ipele ti adase. Awọn aimọ wọnyi yẹ ki o wa kedere bi imọran ti wa ni ariyanjiyan ati idanwo.

Awọn itọsọna ti o jọmọ & awọn ibeere

Awọn aṣoju AIÌlànà Ìwà AIAI AaboỌjọ́ Iwájú AIṢe idanwo ohun ti o mọ — gbiyanju idanwo AI ọfẹ kanWa ọrọ AI kan ninu iwe-itumọ waTẹle olutọpa ilana AI
Ṣe eyi wulo?