Reflexion ati Awọn aṣoju Atunse Ara-ẹni
Reflexion jẹ ilana kan nibiti aṣoju AI ṣe afihan ni kikọ lori awọn ikuna tirẹ ati ifunni awọn ẹkọ yẹn pada si igbiyanju atẹle rẹ.
Akopọ
It matters because it lets agents improve on a task without retraining the underlying model.
Jin Dive
Reflexion, ti a ṣe sinu iwe 2023 nipasẹ Shinn ati awọn ẹlẹgbẹ, fun oluranlowo ni lupu kan: o gbiyanju iṣẹ-ṣiṣe kan, gba ifihan agbara kan nipa bi o ṣe ṣe (esi idanwo kan, ẹsan, tabi alariwisi), lẹhinna kọ kukuru kukuru-ede adayeba 'itumọ' ti n ṣalaye ohun ti ko tọ ati kini lati gbiyanju nigbamii. Iṣaro yẹn ti wa ni ipamọ sinu iranti ati ti tẹlẹ si itọsi igbiyanju atẹle. Ni pataki, awọn iwuwo awoṣe ko yipada; ẹkọ ṣẹlẹ patapata ni window ọrọ bi ọrọ. “Ẹ̀kọ́ ìmúgbòòrò ọ̀rọ̀ ẹnu” yìí jẹ́ kí àwọn aṣojú ṣe àtúnṣe lórí àwọn ìṣòro ìfídìmú, ìṣàwárí wẹ́ẹ̀bù, àti àwọn iṣẹ́ ìrònú. Lori aami ifaminsi HumanEval, Atunse ara-ara Reflexion ti ti awọn oṣuwọn iwọle ti o ga pupọ ju awọn igbiyanju shot ẹyọkan lọ, nirọrun nipa jijẹ ki oluranlowo yo awọn aṣiṣe tirẹ kọja awọn igbiyanju diẹ.
Imọ-imọ-ẹrọ
Isọdọtun ya awọn ipa mẹta: Oṣere ti o ṣe agbekalẹ awọn iṣe, Oluyẹwo ti o ṣe abajade abajade (awọn idanwo ẹyọkan, ayẹwo-ibaramu deede, tabi adajọ LLM), ati awoṣe Irora-ara ẹni ti o yi Dimegilio yẹn pada si ẹkọ kikọ. Ẹkọ naa de ni ibi ipamọ iranti episodic ti a tun lo lori idanwo ti nbọ. Nitori esi jẹ ede kuku ju awọn gradients, ko si ikẹkọ GPU ti o nilo, ṣugbọn o dale dale lori ifihan agbara igbelewọn igbẹkẹle lati yago fun imudara igboya ṣugbọn awọn iweyinpada ti ko tọ.
Ipa Ilana
Kọ awọn yiyan
Apẹrẹ ipele-ohun elo pinnu boya AI ṣe ilọsiwaju awọn abajade gidi.
Ẹgbẹ ati ṣiṣan iṣẹ
Ijọpọ iṣan-iṣẹ ti o dara ṣẹda awọn anfani iṣẹ-ṣiṣe ti awọn olumulo le gbẹkẹle.
Ewu ati ailewu
Awọn ọran lilo ti iwọn daradara dinku rirẹ iyipada ati eewu imuse.
Ojo iwaju ti ifasilẹ ati Awọn aṣoju Atunse Ara-ẹni
Atunse ti ara ẹni n di Layer aiyipada ni awọn ilana aṣoju kuku ju ẹtan iwadii kan. Reti isọdọkan wiwọ pẹlu awọn oludaniloju adaṣe, gẹgẹbi awọn apoti iyanrin koodu, awọn oluṣayẹwo deede, ati imupadabọ ti o jẹrisi awọn ododo, nitorinaa awọn ifojusọna wa ni ipilẹ ni awọn ifihan agbara idi dipo awoṣe amoro keji funrararẹ. Awọn italaya ṣiṣi silẹ ni yago fun awọn iyipo nibiti aṣoju kan ṣe ‘ṣe atunṣe’ lainidi iṣẹjade, pinnu igba lati da aṣetunṣe duro, ati idilọwọ awọn iṣaroye lati lọ kiri si ariwo-ohun ti o ṣeeṣe ṣugbọn awọn isọdi ti a ko rii daju.
Real-World imuse
Aṣoju ifaminsi ti o nṣiṣẹ awọn idanwo ẹyọkan, ka alaye ti o kuna, kọ akọsilẹ kan lori bug, ti o tun ṣe koodu rẹ ṣaaju ṣiṣe suite naa.
Oluranlọwọ iwadii ti o mu itọka alakankan nigbati ayẹwo igbapada ba kuna, lẹhinna ṣe atunwo idahun lati lo awọn orisun ti o jẹrisi nikan.
Aṣoju lilọ kiri wẹẹbu kan (fun apẹẹrẹ, lori awọn ipilẹ AlfWorld tabi WebShop) ti o ṣe igbasilẹ 'Mo tẹ àlẹmọ ti ko tọ' ti o yago fun igbesẹ yẹn lori atunwo.
Olupin iṣoro-iṣiro ti o ṣayẹwo idahun ikẹhin rẹ lodi si idinamọ kan, ṣe akiyesi aṣiṣe ami kan, ti o tun ṣe igbesẹ ti o yẹ.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣẹda ilana fifọ le ṣe alekun awọn iṣoro to wa tẹlẹ.
Awọn ẹgbẹ le ṣe adaṣe adaṣe ki o yọ idajọ eniyan ti o nilo kuro.
Didara le fò ti awọn abajade ko ba ni iṣiro nigbagbogbo.
Ilana Ilana imuse
Ṣe maapu iṣan-iṣẹ lọwọlọwọ ki o ṣe idanimọ igbesẹ ti o ga julọ.
Ṣe alaye awọn aaye ayẹwo eniyan ṣaaju adaṣe ni kikun.
Kọ awọn olumulo lori awọn itọsi, awọn ọna igbega, ati awọn iṣedede didara.
Tọpinpin awọn abajade ipele-ṣiṣe lati jẹrisi iye idaduro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reflexion and Self-Correcting Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iṣiro-ara-ẹni ni Awọn Yipo Aṣoju
Awọn ibeere ti a beere nigbagbogbo
What is Reflexion and Self-Correcting Agents?
Reflexion jẹ ilana kan nibiti aṣoju AI ṣe afihan ni kikọ lori awọn ikuna tirẹ ati ifunni awọn ẹkọ yẹn pada si igbiyanju atẹle rẹ. O ṣe pataki nitori pe o jẹ ki awọn aṣoju ni ilọsiwaju lori iṣẹ-ṣiṣe kan laisi atunṣe awoṣe ipilẹ.
Kini abuda asọye ti bii aṣoju Reflexion kan ṣe 'kọ ẹkọ'?
Iṣatunṣe nigba miiran ni a pe ni 'ẹkọ imuduro ọrọ ẹnu' nitori awọn ẹkọ ti wa ni ipamọ bi ọrọ ede adayeba ni iranti, kii ṣe koodu sinu awọn aye awoṣe.
Ninu ilana Isọdọtun, kini Oluyẹwo ṣe?
Oluyẹwo (idanwo ẹyọkan kan, ṣayẹwo-baramu deede, tabi adajọ LLM) ṣe agbejade ifihan agbara ti igbesẹ Irohin-ara-ẹni yipada si ẹkọ ọrọ.
Kilode ti didara ifihan agbara igbelewọn ṣe pataki pupọ ninu Ipadabọ?
Ti oluyẹwo ko ba ni igbẹkẹle, aṣoju le kọ awọn ifarabalẹ ti o ni igboya ti o da lori awọn esi buburu, ṣiṣe awọn igbiyanju iwaju ni ọna ti ko tọ.
Lori aami ala wo ni atunṣe ara ẹni-ara Reflexion ṣe ni pataki ni ilọsiwaju awọn oṣuwọn koodu ifaminsi?
HumanEval jẹ ipilẹ-iran koodu, ati jẹ ki aṣoju yokokoro kọja awọn igbiyanju pupọ ti o gbe awọn oṣuwọn kọja daradara ju iṣẹ-iṣọkan lọ.
Ewo ni eewu ṣiṣi otitọ pẹlu awọn aṣoju ti n ṣatunṣe ara ẹni?
Laisi ofin idaduro to dara, aṣoju le tẹsiwaju atunṣe awọn idahun ti o pe, jafara iṣiro ati nigbakan ti o bajẹ abajade to dara.