Kini o ṣẹlẹ
Awọn oniwadi ṣafihan MemUse, ilana igbelewọn fun iranti AI ibaraẹnisọrọ igba pipẹ ti o ṣe iwọn boya awọn eto nipa ti ara ṣepọ awọn alaye ti o yẹ sinu awọn idahun dipo kiki gba awọn ododo pada nigbati o beere taara.
Iwe naa ṣe ijabọ lori imuṣiṣẹ oṣu mẹrin ti o kan awọn olumulo 40, awọn akoko 1,872 ati awọn ipo iranti meje. Awọn oniwadi ṣe afiwe idanwo QA Taara ti aṣa-ibeere eto AI kan lati gba otitọ kan pato lati paṣipaarọ iṣaaju-pẹlu ohun ti wọn pe Integration Adayeba: mimọ nigbati alaye ti o ranti jẹ pataki ati ṣafikun rẹ nipa ti ara sinu esi kan. Awọn aaye ifiwera yii ṣe idapada igbapada ati lilo ibaraẹnisọrọ lasan ni ẹgbẹ ni ẹgbẹ laarin ilana igbelewọn kanna.
Kọja awọn ipo meje, iṣẹ QA taara wa lati 19.7% si 70.1%, ṣugbọn awọn oniwadi sọ pe itẹlọrun olumulo ko yipada. Itumọ wọn ni pe ala ati awọn olumulo n ṣe iwọn awọn agbara oriṣiriṣi. QA taara ṣe idanwo boya eto kan le gba otitọ kan pada nigbati o ba ṣetan; ibaraẹnisọrọ lasan tun nilo ṣiṣe ipinnu boya otitọ ṣe pataki ni akoko yẹn ati bii o ṣe le lo laisi ṣiṣe idahun naa ni rilara ti ipa. Iyatọ naa nitorina awọn ifiyesi mejeeji akoko ati ibaramu ibaraẹnisọrọ, kii ṣe boya boya alaye naa wa.
Awọn oniwadi ṣẹda MemUse lati awọn akoko iranti olumulo-cued gidi ni imuṣiṣẹ. Awọn akoko wọnyi ni a gba wọle pẹlu idajo isọpọ-mọ ti idahun ibaraẹnisọrọ ti eto naa. Pẹlu awoṣe ati ipo ti o wa titi, eto kanna ti gba 78.8% lori Taara QA ṣugbọn tọka si 7.9% nikan ti awọn otitọ ti o yẹ lakoko ibaraẹnisọrọ. Iwe naa ṣe apejuwe eyi bi aaye 71-ojuami laarin igbapada ti o yọkuro ati lilo akiyesi. Abajade sapejuwe idi ti idahun eto kan si ibeere iranti ti o fojuhan le rii ni agbara pupọ ju ihuwasi rẹ ni paṣipaarọ agbegbe.
Iwe naa ṣe ijabọ pe Integration Adayeba ni nkan ṣe pẹlu itẹlọrun olumulo laarin awọn akoko iranti wọnyi, lakoko ti QA taara kii ṣe. Awọn onkọwe tun sọ pe wọn n ṣe idasilẹ koposi imuṣiṣẹ, MemUse, awọn idajọ ati awọn igbelewọn igbelewọn. Orisun naa ṣe idanimọ iṣẹ naa bi o ti gba si EMNLP 2026, ṣugbọn áljẹbrà ko pese awọn alaye nipa awoṣe, agbegbe imuṣiṣẹ, nọmba awọn akoko iranti tabi ilana igbelewọn deede. Awọn ifasilẹ yẹn ṣalaye awọn opin ti ohun ti o le ni oye lati imuṣiṣẹ ti a royin ati lafiwe ti awọn iwọn meji naa.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Awọn awari daba pe awọn ipilẹ iranti ti a lo nigbagbogbo le ṣe iwọn agbara pataki ṣugbọn ti ko pe. Eto kan le ṣe iranti alaye ni pipe ati ṣi kuna lati ṣe idanimọ nigbati alaye naa jẹ ninu ibaraẹnisọrọ ti nlọ lọwọ.
Iranti igba pipẹ wulo nikan ti eto AI ba le lo alaye iranti ni akoko to tọ. Eto ti o dahun ibeere iranti taara ni deede le tun gbejade esi jeneriki nigbati yiyan, ibi-afẹde tabi nkan ti ọrọ-ọrọ ti o kọja yoo ti jẹ ki paṣipaarọ naa wulo diẹ sii. MemUse dojukọ igbelewọn lori ibaraenisepo ilowo yẹn ju ki o ranti ni ipinya. Itọkasi rẹ nitorina ni iyipada lati alaye ti o fipamọ si lilo ni ayika ti o yẹ lakoko ibaraẹnisọrọ kan.
Awọn abajade ti o royin koju arosinu ti o rọrun pe awọn nọmba iranti to dara julọ tumọ laifọwọyi sinu awọn iriri ibaraẹnisọrọ to dara julọ. Ninu iwadi yii, awọn iyatọ nla ni iṣẹ QA Taara kọja awọn ipo iranti ko wa pẹlu awọn ayipada ninu itelorun. Iyẹn ko fihan pe iranti ko ṣe pataki; o fihan, ni ibamu si iwe naa, pe iranti nikan kii ṣe aṣoju ti o gbẹkẹle fun awọn olumulo iriri ti o royin ninu imuṣiṣẹ yii. Awọn oju wiwa wiwa ṣe iranti bi apakan kan ti agbara lakoko ti o n beere boya o le duro fun gbogbo iriri olumulo.
Aafo laarin 78.8% iṣẹ QA Taara ati itọkasi ibaraẹnisọrọ 7.9% jẹ pataki ni pataki fun awọn olupilẹṣẹ pinnu bi o ṣe le mu awọn eto iranti dara si. Imudara imupadabọ le ṣe alekun Dimegilio ala-ilẹ laisi ilọsiwaju nigbati alaye ba jade, bawo ni a ṣe tumọ rẹ tabi boya lilo rẹ ni imọlara pe o wulo. Igbeyewo ti o pẹlu ibaraẹnisọrọ adayeba le ṣafihan awọn ikuna yẹn tẹlẹ. Yoo jẹ ki ihuwasi eto naa han ni eto nibiti awọn alaye ti o ranti ti nireti lati ṣe iranlọwọ.
Awọn awari naa tun tọka si iṣowo kan ti ajẹmọ ko yanju. Ijọpọ loorekoore ti awọn alaye ti o ranti ko dara ti awọn itọkasi ko ṣe pataki, iyalẹnu tabi korọrun. Orisun naa ṣe agbekalẹ ajọṣepọ kan laarin Integration Adayeba ati itẹlọrun, ṣugbọn ko fi idi rẹ mulẹ pe jijẹ awọn itọkasi nikan nfa itẹlọrun ti o ga julọ tabi pe ọna naa jẹ ailewu kọja awọn aaye ifura. Lilo eyikeyi iṣe ti metiriki gbọdọ nitorina gbero ifisi ti o yẹ ati ihamọ ti o yẹ.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
What is a common training objective for an autoregressive language model?
Kini lati wo tókàn
Idanwo t’okan jẹ boya MemUse ṣe gbogbogbo kọja imuṣiṣẹ yii ati boya imudara isọdọkan adayeba ṣe ilọsiwaju iriri olumulo laisi fa aifẹ tabi awọn itọka ifọkansi si awọn ibaraẹnisọrọ ti o kọja.
Atunse yoo jẹ pataki. Iwadi naa lo imuṣiṣẹ oṣu mẹrin kan pẹlu awọn olumulo 40 ati awọn ipo iranti meje, nitorinaa orisun ko ṣe fi idi bi awọn abajade yoo ṣe yatọ laarin awọn olugbe, awọn ede, awọn ọna ibaraẹnisọrọ, awọn awoṣe tabi awọn ayaworan iranti. Koposi ti a tu silẹ ati awọn ohun elo igbelewọn le gba awọn oniwadi miiran laaye lati ṣe idanwo boya iyapa kanna laarin iranti ati isọdọkan han ni ibomiiran. Iru idanwo yii yoo fihan boya ibatan ti o royin jẹ ihuwasi ti ilana tabi ni pato si imuṣiṣẹ yii.
Aimọ bọtini kan ni bii MemUse ṣe n ṣalaye itọkasi adayeba aṣeyọri. Orisun naa sọ pe awọn akoko naa ni a gba wọle ni lilo awọn idajọ isọpọ-mọ ati pe awọn itusilẹ igbelewọn ti wa ni idasilẹ, ṣugbọn áljẹbrà naa ko sọ boya awọn idajọ wa lati ọdọ eniyan, awọn oluyẹwo adaṣe tabi apapọ, tabi ko ṣe ijabọ adehun, aidaniloju tabi pataki iṣiro. Awọn alaye yẹn yoo ni ipa lori bi a ṣe le lo metiriki pẹlu igboya. Wọn tun ṣe pataki fun itumọ ohun ti Dimegilio duro nigbati idahun ba ṣafikun, yọkuro tabi kọ lati lo alaye ti o ranti.
Awọn igbelewọn ọjọ iwaju yoo nilo lati wiwọn iwulo mejeeji ati ihamọ. Eto kan yẹ ki o ṣe idanimọ ipo iṣaaju ti o yẹ, ṣugbọn o yẹ ki o yago fun fifi alaye ti ara ẹni sii lasan nitori pe o le gba pada. Afoyemọ naa ko ṣe ijabọ awọn iṣẹlẹ aṣiri, awọn ẹdun olumulo, awọn itọkasi aifẹ tabi iṣẹ ṣiṣe ni awọn ibaraẹnisọrọ ifura, nlọ awọn eewu ilowo yẹn lainidi. Ibeere igbelewọn kanna ni awọn ẹgbẹ meji: boya eto naa nlo iranti ti o yẹ ati boya o yago fun ṣiṣe iranti rilara intrusive.
Idanwo ti o ṣe pataki julọ ti iwe naa yoo jẹ idasi: mu eto kan pọ si nipa lilo MemUse tabi metiriki isọpọ kan, lẹhinna wọn boya itẹlọrun, ipari iṣẹ-ṣiṣe tabi awọn iyipada idaduro ni imuṣiṣẹ tuntun. Titi ti ẹri naa yoo wa, iwadi naa ṣe atilẹyin itọju QA Taara bi iwadii ti ko pe ju ki o rọpo rẹ bi iwọn asọye ti iranti ibaraẹnisọrọ.