Pada si Iroyin
AtunseAI Understanding finifini

Awọn oniwadi ṣafihan ilana CAFE (S) lati ṣe iṣiro ipo aṣoju ifaminsi AI

Ẹgbẹ iwadii ifowosowopo lati Atlassian's DX, Olu Ọkan, GitHub, Google, ati Yunifasiti ti Victoria ti ṣe atẹjade ilana CAFE(S) ni ACM Queue lati ṣe iwọn bi awọn ajọ ṣe n ṣe iwadii ati ilọsiwaju awọn agbegbe alaye ti a pese si awọn aṣoju ifaminsi AI.

4 min readRead the linked source
Source-page capture accompanying Researchers introduce CAFE(S) framework to evaluate AI coding agent context
itọkasi orisunOrisun ti o gbasilẹ
Olutẹwe
natlawreview.com
Orisun ọna asopọ
natlawreview.comhttps://natlawreview.com/press-releases/acm-queue-publishes-cafes-framework-improving-ai-coding-agent-effectiveness
Orisun iru
Orisun ti o sopọ mọ - ipo orisun akọkọ ko ti fi idi mulẹ.
AtokọLoye eyi ni iṣẹju 60

Bẹrẹ nibi

Awọn ofin bọtini

Àmi
Apapọ ọrọ ti a ṣe nipasẹ awọn awoṣe ede, gẹgẹbi ọrọ ege tabi aami.
Ṣe idanwo fun ara rẹAI Aṣoju adanwo

Kini o ṣẹlẹ

Awọn oniwadi lati DX (oniranlọwọ Atlassian), Olu Ọkan, GitHub, Google, ati Yunifasiti ti Victoria ti ṣafihan ilana CAFE (S), ti a tẹjade ni ACM Queue. Ilana naa n pese awọn fokabulari iwadii kan fun iṣiro didara ipo-ọrọ ti a pese si awọn aṣoju ifaminsi AI, idamo awọn iwọn pato marun ti didara ipo-ọrọ ti o ni ipa lori iṣẹ aṣoju.

Ilana CAFE (S) ti ni idagbasoke nipasẹ ẹgbẹ ile-iṣẹ pupọ pẹlu awọn oniwadi lati DX, Capital One, GitHub, Google, ati University of Victoria. O jẹ apẹrẹ lati ṣe iranlọwọ fun awọn ẹgbẹ pẹpẹ ati awọn ẹlẹrọ sọfitiwia ṣe iṣiro awọn agbegbe alaye ti o jẹ ifunni awọn aṣoju ifaminsi AI.

Gẹgẹbi iwadii naa, awọn ikuna iṣẹ ṣiṣe ni ifaminsi AI nigbagbogbo ni aiṣedeede si awọn idiwọn awoṣe tabi awọn ọran orchestration, nigbati wọn nigbagbogbo fa nipasẹ didara ipo ti a pese si awoṣe. Ilana naa ṣe agbekalẹ awọn iwọn marun ti didara ipo-ọrọ lati ṣe iranlọwọ fun awọn ẹgbẹ ṣe idanimọ ati ṣatunṣe awọn ọran wọnyi.

Awọn onkọwe jiyan pe AI pọ si iye owo ti iṣakoso oye ti ko dara, bi awọn aṣoju ti fi agbara mu lati ṣiṣẹ lori data aibikita tabi stale jẹ diẹ sii lati ṣe awọn aṣiṣe ti eniyan gbọdọ ṣe atunṣe.

Awọn alaye orisun: natlawreview.com ↗

Kini idi ti o ṣe pataki

Ilana CAFE (S) n ṣalaye igo to ṣe pataki ni idagbasoke sọfitiwia ti iranlọwọ AI: ibajẹ ti iṣẹ awoṣe nitori data igbewọle didara ko dara. Nipa didasilẹ awọn fokabulari ti o pin fun 'didara ọrọ-ọrọ,' ilana naa yi idojukọ lati awọn agbara awoṣe si imọ-ẹrọ ti awọn agbegbe alaye. Eyi ṣe pataki nitori paapaa awọn awoṣe to ti ni ilọsiwaju nigbagbogbo kuna nigba ti a pese pẹlu aibikita, ti ko pe, tabi data ti o duro, ti o yori si atunṣiṣẹ idagbasoke ati alekun awọn idiyele ami. Ilana naa ni ero lati tọju didara agbegbe bi ibawi imọ-ẹrọ adaṣe, gbigba awọn ẹgbẹ laaye lati ṣe iwadii eto eto idi ti awọn aṣoju kuna ati ilọsiwaju igbẹkẹle ti ṣiṣan ifaminsi AI-ṣiṣẹ.

Ilana naa jẹ ipinnu lati ṣe bi 'kaadi Dimegilio didara' ti o joko ni oke awọn akopọ idagbasoke sọfitiwia ti o wa tẹlẹ. Nipa isọdọtun ede ti a lo lati jiroro ọrọ-ọrọ, awọn onkọwe nireti lati jẹ ki apẹrẹ imototo diẹ sii ati itọju awọn opo gigun ti data ti o ṣe atilẹyin awọn aṣoju AI.

Itumọ ti o wulo fun awọn ẹgbẹ imọ-ẹrọ jẹ iyipada si atọju agbegbe alaye gẹgẹbi ibakcdun imọ-ẹrọ akọkọ-akọkọ. Ọna yii ni ero lati dinku 'egbin tokini' ati awọn eewu igbẹkẹle, ti o ni ilọsiwaju imudara ipadabọ lori idoko-owo fun awọn ajo ti n ṣe iwọn lilo wọn ti awọn irinṣẹ ifaminsi AI.

Interactive Mechanism

Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ

Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.

Agent Lifecycle Stage:
1
User Intent & Planning: "Audit customer refund request #4092 and settle payment."
2
Tool Calling: Emits structured JSON call crm_get_transaction(id='4092').
3
Guardrail & Verification:🛡️ Paused: High-value action requires human operator sign-off.
4
Final Settlement: Refund recorded, email receipt dispatched, and audit log stored.
Core takeaway: An AI agent is not just a language model—it is a closed loop of planning, tool invocation, and environment feedback. Production systems require self-healing retries and strict human approval guardrails.
Ibanisọrọ Erongba Ṣayẹwo+10 Points
AI Agents Quiz

What most distinguishes an AI agent from a basic chatbot?

Kini lati wo tókàn

Ilana lọwọlọwọ n ṣiṣẹ bi awọn fokabulari iwadii kuku ju eto wiwọn pipo kan. Awọn idagbasoke iwaju yoo dojukọ lori ṣiṣẹda awọn metiriki ti o gbẹkẹle lati ṣe ayẹwo awọn iwọn marun wọnyi ni iwọn ati ṣiṣe ipinnu bi awọn ilọsiwaju kan pato ninu didara ipo ṣe ni ibamu pẹlu awọn abajade wiwọn ni ifijiṣẹ sọfitiwia, iṣelọpọ idagbasoke, ati ṣiṣe ti ajo.

Iwadi naa ṣe akiyesi ni gbangba pe CAFE (S) jẹ ilana fun asọye, kii ṣe eto fun wiwọn adaṣe. Ile-iṣẹ naa yoo nilo lati ṣọra fun iwadii atẹle tabi irinṣẹ irinṣẹ ti o gbiyanju lati ṣe iwọn awọn iwọn marun wọnyi.

Awọn alafojusi yẹ ki o ṣe atẹle boya ilana yii jẹ gbigba nipasẹ awọn iru ẹrọ idagbasoke pataki tabi ṣepọ sinu awọn iṣan-iṣẹ aṣoju ifaminsi AI ti o wa lati pese ijabọ idanimọ idiwọn.

Awọn itọsọna ti o jọmọ & awọn ibeere

Awọn aṣoju AIAwọn awoṣe AI ti ṣalayeAI IkẹkọṢe idanwo ohun ti o mọ — gbiyanju idanwo AI ọfẹ kanWa ọrọ AI kan ninu iwe-itumọ waTẹle olutọpa idasilẹ awoṣe AI
Ṣe eyi wulo?