Kini o ṣẹlẹ
Atẹwe arXiv kan ṣafihan Imọ-iṣe SWE-bench, ipilẹ-ipele ibi-ipamọ ti o bo awọn iṣẹ ṣiṣe 119 lati awọn ibi ipamọ 98 GitHub kọja awọn aaye imọ-jinlẹ 20. Awọn onkọwe ṣe ijabọ pe aṣoju ti n ṣiṣẹ dara julọ ninu igbelewọn wọn, Claude Code pẹlu Opus-5 (max), ṣaṣeyọri pass@1 Dimegilio ni isalẹ 50%.
Iwe naa ṣe idanimọ awọn ilana ikuna loorekoore mẹrin ninu itupalẹ rẹ. Iwọnyi jẹ aipe ni imọ-jinlẹ tabi abstraction; iwakiri ti ko tọ tabi atunṣe ipele-dada; agbegbe atunṣe ti ko pe tabi isọpọ eto; ati awọn ikuna lati ṣakopọ imọ imọ-jinlẹ kọja awọn ọran ti a ṣe akiyesi. Papọ, atokọ yii ṣapejuwe awọn ọna ọtọtọ mẹrin ti atunṣe le kuru: aṣoju kan le ko ni oye imọ-jinlẹ ti o yẹ, lepa ọna ti ko pe tabi ti aipe, kuna lati koju gbogbo atunṣe tabi iṣọpọ rẹ, tabi kuna lati gbe imọ lati awọn ọran ti o ti rii si awọn ọran ti o kọja wọn. Orisun naa ṣafihan iwọnyi bi awọn ọna ṣiṣe loorekoore ninu itupalẹ rẹ, nitorinaa wọn jẹ apakan ti akọọlẹ ikuna iwe kuku ju ẹtọ pe gbogbo iṣẹ-ṣiṣe n ṣe afihan gbogbo ẹrọ.
Awọn onkọwe tun ṣe ifasilẹ isọpọ ti o yọ itọnisọna imọ-jinlẹ ti o fojuhan kuro lakoko idaduro ibi ipamọ ati ipo iṣẹ-ṣiṣe ṣiṣe. Ifiwewe nitorinaa tọju ibi ipamọ ati ipo imọ-ẹrọ ṣiṣe ni aye lakoko iyipada wiwa ti itọsọna imọ-jinlẹ ti o fojuhan. Iṣeto yẹn ni a lo lati ṣayẹwo ohun ti o ṣẹlẹ nigbati paati itọnisọna ba yọkuro kuro ni ipo iṣẹ ṣiṣe bibẹẹkọ. O ya sọtọ ipa ti a yàn si itọnisọna ni lafiwe ti a royin, laisi iyipada apejuwe ti awọn iṣẹ-ṣiṣe ala-ilẹ tabi ṣafikun abajade aṣoju lọtọ. Koko bọtini ninu akọọlẹ iwe naa jẹ iyatọ laarin didimuduro ipo imọ-ẹrọ ati yiyọ itọnisọna imọ-jinlẹ ti o fojuhan.
Wọn ṣe ijabọ pe itọsọna ti o ni ilẹ daradara le ṣe idiwọ awọn atunṣe ati ilọsiwaju iṣẹ ṣiṣe apapọ ati ṣiṣe ami ami, lakoko ti itọsọna ti ko tọ le fa idamu ati pe ko ṣe dandan mu ilọsiwaju atunṣe deede. Nitorinaa, ipa ti a royin jẹ majemu kuku ju idaniloju iṣọkan lọ: itọsọna le wulo nigbati o ba wa ni ipilẹ daradara, ṣugbọn itọsọna ti ko ni ibamu daradara le darí atunṣe nipasẹ didari laisi ṣiṣejade aṣeyọri atunṣe deede to dara julọ. Abajade naa kan iṣẹ ṣiṣe apapọ ati ṣiṣe tokini bii aṣeyọri atunṣe deede, ati pe orisun ṣe iyatọ awọn abajade wọnyẹn dipo itọju wọn bi iyipada. Eyi ni kikun afijẹẹri ti o somọ abajade itọsọna ninu ọrọ ti a pese.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Sọfitiwia imọ-jinlẹ le ṣiṣẹ gẹgẹbi apakan ti ohun elo ti a lo lati gbejade ẹri. Aṣepari ni imọran pe awọn aṣoju ifaminsi koju awọn italaya kọja atunṣe koodu lasan, pẹlu ero imọ-jinlẹ, agbegbe titunṣe gbooro, iṣọpọ eto, ati lilo imọ si awọn ọran ti ko mọ.
Itọpa itọsona tun ṣe idiju arosinu pe fifi alaye imọ-jinlẹ diẹ sii yoo jẹ ki oluranlowo jẹ ailewu tabi deede diẹ sii. Gẹgẹbi orisun naa, itọsọna ti o wulo ṣe ilọsiwaju iṣẹ ṣiṣe apapọ ati ṣiṣe ami ami, ṣugbọn itọsọna ti ko tọ si le ṣe ilana ilana atunṣe ati kuna lati mu ilọsiwaju atunṣe deede. Itumọ kii ṣe pe alaye ijinle sayensi ko ni iye; o jẹ wipe awọn oniwe-iye da lori bi daradara itoni jije titunṣe ti wa ni igbidanwo. Nitorinaa orisun naa fi oluka silẹ pẹlu abajade ipo: ilana gbogbogbo kanna ti fifunni itọsọna le ni nkan ṣe pẹlu ilọsiwaju ni diẹ ninu awọn ayidayida ati pẹlu iduro laisi ilọsiwaju atunṣe-gangan ninu awọn miiran.
Wiwa yii ni awọn ohun elo ti o wulo fun awọn eniyan ti o pese awọn akọsilẹ agbegbe, awọn apejuwe awọn alaye, tabi awọn alaye ti ipilẹṣẹ si awọn aṣoju ifaminsi. Awọn ohun elo wọnyẹn jẹ awọn ọna itọsọna imọ-jinlẹ ni oye gbooro ti a lo nipasẹ ijiroro, nitorinaa ablation jẹ ki didara wọn jẹ ki o baamu ni ibamu si ilana atunṣe. Akọsilẹ kan, apejuwe, tabi alaye le jẹ ipinnu lati ṣe iranlọwọ fun atunṣe atunṣe, ṣugbọn abajade ti a royin tumọ si pe wiwa iru ohun elo nikan ko to lati fi idi aṣeyọri atunṣe to dara julọ. Iyatọ ti o yẹ laarin awọn itọnisọna to wulo ti o ni ibamu daradara si iṣẹ-ṣiṣe ati itọnisọna ti ko dara pẹlu rẹ. Iyatọ yẹn tẹle akọọlẹ orisun ti iṣẹ ṣiṣe, ṣiṣe ami ami, idaduro, ati aṣeyọri atunṣe deede.
Itọnisọna le ṣe iranlọwọ nigbati o jẹ deede ati pe o baamu daradara si iṣẹ-ṣiṣe naa, lakoko ti afikun ọrọ tun le dari aṣoju kan si atunṣe ti ko tọ. Iwe naa ko fihan lati inu áljẹbrà bi igbagbogbo abajade kọọkan waye. Nitoribẹẹ, ọrọ ti a pese ṣe atilẹyin itumọ ti o pe kuku ju ofin gbogbogbo nipa ọrọ-ọrọ ti a ṣafikun: o ṣe igbasilẹ ilọsiwaju ti o ṣeeṣe ati ididuro ti o ṣeeṣe, lakoko ti o nlọ igbohunsafẹfẹ ti awọn abajade yẹn ni airotẹlẹ. Pataki abajade wa ni ipo ti ko yanju. O jẹ titete itọnisọna, ati kii ṣe aye ti awọn ọrọ diẹ sii ni ayika iṣẹ-ṣiṣe naa, ti ijiroro naa ṣe idanimọ bi o ṣe pataki si ihuwasi ti o royin.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
What most distinguishes an AI agent from a basic chatbot?
Kini lati wo tókàn
Iwe kikun ni a nilo lati ṣe ayẹwo akojọpọ iṣẹ-ṣiṣe, lafiwe aṣoju, ilana igbelewọn, ati awọn ikun deede. Awọn ibeere ṣiṣi pataki pẹlu bawo ni awọn ibi ipamọ ṣe jẹ aṣoju, boya gbigbe awọn awari si ṣiṣan iṣẹ ṣiṣe imọ-jinlẹ, ati bii itọsọna imọ-jinlẹ ti igbẹkẹle ṣe ilọsiwaju awọn atunṣe laisi fa idamu.
Abajade itọsọna tọsi ayewo isunmọ ni awọn igbelewọn ọjọ iwaju. Orisun naa ṣe ijabọ iṣẹ ṣiṣe aropin ati awọn ipa ṣiṣe-ami-ami, ṣugbọn áljẹbrà ko ṣe iwọn ilọsiwaju naa, ṣalaye ohun ti a kà bi ipilẹ-ilẹ daradara tabi itọsona ti ko dara, tabi ṣafihan boya ipa naa yatọ nipasẹ agbegbe imọ-jinlẹ tabi apẹrẹ iṣẹ-ṣiṣe. Awọn ifasilẹ wọnyi ṣe idanimọ alaye kan pato ti o tun nilo lati tumọ abajade: iwọn iyipada ti a royin, awọn ibeere fun awọn apejuwe itọnisọna meji, ati iwọn ti ipa naa yatọ si kọja awọn agbegbe tabi awọn paradigms. Titi awọn aaye wọnyẹn yoo wa, wiwa itọsọna naa jẹ abajade ti o peye lati akọọlẹ ti a pese kuku ju wiwọn pato kan ni kikun.
O tun jẹ aimọ boya iṣẹ ṣiṣe ala-ilẹ ti o ga julọ nyorisi si awọn ipinnu imọ-jinlẹ igbẹkẹle diẹ sii ni iṣe. Abajade to dara julọ lori ala ati ipari igbẹkẹle diẹ sii ni a ko gbekalẹ bi awọn abajade deede ninu ọrọ ti a pese. Ibeere ti o ṣii jẹ awọn ifiyesi gbigbe lati iṣẹ ṣiṣe iwọn idanwo si iṣẹ imọ-jinlẹ ni iṣe, pẹlu boya abajade ala sọ ohunkohun nipa igbẹkẹle awọn ipari. Ilana naa ko pese ẹri ti o yanju ibeere yii, nitorinaa o jẹ ohun kan lati wo lẹgbẹẹ awọn alaye ti ifasilẹ itọnisọna ati igbelewọn rẹ.
Atọjade iṣaju ṣafihan ibusun idanwo fun kikọ awọn agbara aṣoju-ifiweranṣẹ ati awọn ikuna; ko ṣe, lati inu ọrọ ti a pese, ṣe afihan imuṣiṣẹ ailewu, iṣawari imọ-jinlẹ adase, tabi awọn ilọsiwaju ti a fọwọsi si iwadii ti a tẹjade. Awọn opin wọnyẹn ṣalaye kini o le ati ko le ṣe alaye lati inu iwe-tẹlẹ bi a ti ṣalaye rẹ nibi. A le wo ibusun idanwo fun ohun ti o ṣafihan nipa awọn agbara ati awọn ikuna, lakoko ti awọn ẹtọ ti o lagbara julọ ti a ṣe akojọ si ninu gbolohun ọrọ naa ko ni ẹri ninu ọrọ ti a pese. Ifarabalẹ ọjọ iwaju yẹ ki o duro lori ipilẹ ala ti a sọ ati awọn awari itọsọna, laisi itọju wọn bi ẹri ti aabo imuṣiṣẹ, iṣawari adase, tabi ilọsiwaju si iwadii ti a tẹjade.