Kini o ṣẹlẹ
Atẹjade ti a fi silẹ si arXiv ni Oṣu Kẹjọ Ọjọ 24 ṣafihan Awọn awoṣe Ede ti Credal Large, tabi CLLMs, eyiti o lo apejọ ti awọn oluyipada LoRA lati ṣe aṣoju ọpọlọpọ awọn asọtẹlẹ ti o ṣeeṣe dipo pinpin iṣeeṣe kan. Awọn onkọwe gba ipele ami-ami ati awọn ikun ifaramo ipele-itumọ ati ṣe iṣiro wọn fun idahun ibeere, isọdiwọn, asọtẹlẹ yiyan, iṣawari , ati ero.
Iwe naa ṣe apejuwe aropin kan ni ọna deede awọn awoṣe ede ṣe aṣoju aidaniloju: awoṣe boṣewa kan ṣe agbejade pinpin asọtẹlẹ kan, eyiti awọn onkọwe sọ pe o le da aimọkan pọ pẹlu aibikita tootọ. Wọn ti dabaa CLLM dipo lo akojọpọ ti awọn oluyipada LoRA lati ṣe ohun ti iwe naa pe ni eto ijẹrisi. Ni awọn ofin to wulo, ọna naa jẹ ipinnu lati tọju iyapa tabi tan kaakiri laarin awọn ipinpinpin isọtẹlẹ ti o ṣeeṣe dipo kikopọ gbogbo aidaniloju sinu iṣelọpọ softmax kan. Orisun naa ko beere pe aṣoju yii jẹ ki awoṣe ti o tọ; o ira wipe o le ṣe awọn awoṣe ká ìyí ti ifaramo diẹ alaye.
Awọn onkọwe ṣafihan awọn iwọn meji ti o jọmọ. Ifaramo Tokini Credal, tabi CTC, nṣiṣẹ ni aaye ami-ami ati daapọ atilẹyin-isalẹ, iwọn ijẹrisi, ati entropy ikorita. Afoyemọ naa sọ pe CTC le ṣe iṣiro laisi iran afikun, eyiti o ṣe pataki fun awọn eto nibiti iṣapẹẹrẹ leralera yoo ṣafikun airi tabi idiyele. Aitasera Ifaramo Semantic, tabi SCC, fa ero naa pọ si aaye atunmọ nipa lilo awọn ipari ti a ṣe ayẹwo. Iwe naa tun ṣalaye SCC-Gap lati wiwọn aiṣedeede laarin atilẹyin ipele-ami ati atilẹyin ipele-itumọ. Awọn ikun wọnyi ni a ṣe afihan bi awọn irinṣẹ fun idamo nigbati igbẹkẹle ipele-dada awoṣe le ma ṣe deede pẹlu iwọn awọn itumọ ti a fihan nipasẹ awọn idahun ti o ṣeeṣe.
Igbelewọn ni wiwa Gemma-2-9B, Llama-3.1-8B, ati Qwen2.5-7B lori OpenBookQA, CoQA, TriviaQA, ati ARC-Ipenija. Gẹgẹbi áljẹbrà, CLLM jẹ ọna ṣiṣe to dara julọ lori deede-idahun ibeere lakoko mimu asise isọdiwọn idije ti n reti. Awọn onkọwe tun jabo pe CTC wa laarin awọn aaye ida-ogorun 1.5 ti agbegbe iwari ti o dara julọ labẹ ọna abuda ti olugba ni ọpọlọpọ awọn eto, laisi iran afikun. Lori asọtẹlẹ yiyan ni agbegbe 80%, abstract naa ṣe ijabọ deede 99.0% lori OpenBookQA fun CLLM pẹlu SCC. O bẹrẹ lati ṣalaye abajade Ipenija ARC kan fun CLLM pẹlu igbẹkẹle Csem ṣugbọn ti ge ge ṣaaju fifun abajade, nitorinaa ẹtọ ko le ṣe iṣiro lati orisun ti a pese.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Awọn awoṣe ede le gbe awọn idahun ti o lọra jade pẹlu igboya ti ko ni ẹri. Ti awọn abajade ti o royin ba duro, wiwọn aidaniloju kọja awọn ipinpinpin isọtẹlẹ asọtẹlẹ pupọ le ṣe iranlọwọ fun awọn ọna ṣiṣe idanimọ awọn idahun ti o nilo ijẹrisi, aibikita, tabi atunyẹwo eniyan laisi nilo afikun iran ni ọpọlọpọ awọn ọran.
Ọrọ iṣe ti aarin kii ṣe boya boya awoṣe ede le dahun ibeere kan, ṣugbọn boya o le ṣe iyatọ imọ lati aidaniloju. Idahun ti ko tọ ṣugbọn ti ko tọ le lewu diẹ sii ju kiko ti o fojuhan nigbati awọn olumulo tọju igbẹkẹle bi ẹri. Aṣoju iwe-ẹri iwe-itumọ ti iwe naa koju iṣoro yẹn nipa didimu ariyanjiyan laarin awọn asọtẹlẹ orisun ohun ti nmu badọgba. Ti ọna naa ba ṣakopọ, o le pese awọn olupilẹṣẹ pẹlu ami ifihan-ẹgbẹ awoṣe fun ṣiṣe ipinnu nigbati o dahun taara, beere ijẹrisi, da ọna ibeere kan si eto miiran, tabi kan eniyan kan.
Abajade asọtẹlẹ yiyan ti a royin jẹ pataki pataki si imuṣiṣẹ nitori awọn eto yiyan ko nilo lati dahun ibeere gbogbo. Eto ti o le ṣetọju iṣedede giga lakoko ti o bo awọn ọran nikan ti o ro pe o ni atilẹyin to le wulo diẹ sii ni awọn eto nibiti awọn aṣiṣe gbe awọn idiyele to nilari. Iṣe deede 99.0% ti o royin ni agbegbe 80% lori OpenBookQA jẹ iwuri laarin data ati iṣeto ni, ṣugbọn o yẹ ki o loye bi abajade iwe dipo ẹri pe eto ti a fi ranṣẹ yoo ṣaṣeyọri iṣẹ kanna. Awọn áljẹbrà ko ni pato awọn nọmba ti awọn apẹẹrẹ, awọn ọna lafiwe, tabi awọn isẹ ti itumọ ti agbegbe.
Ipepe iran-afikun fun CTC tun le ṣe pataki fun apẹrẹ inference. Ọpọlọpọ awọn imọ-ẹrọ aidaniloju gbarale iṣelọpọ ọpọlọpọ awọn ipari, eyiti o le mu iṣiro ati idaduro pọ si. Orisun naa sọ pe CTC ṣajọpọ ọpọlọpọ awọn iwọn aidaniloju ti o ni ibatan laisi irandiran afikun, lakoko ti SCC lo awọn ipari apẹẹrẹ ni gbangba. Iyatọ yẹn fun iwe naa ni igun imọ-ẹrọ nja: Dimegilio kan le jẹ din owo lati lo, lakoko ti ekeji le mu ariyanjiyan atunmọ taara taara. Afoyemọ naa ko ṣe iwọn idiyele ti akojọpọ LoRA funrararẹ, sibẹsibẹ, nitorinaa lapapọ iṣẹ iṣowo-pipa jẹ aimọ.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
What is a common training objective for an autoregressive language model?
Kini lati wo tókàn
Abajade lọwọlọwọ jẹ igbelewọn atẹjade ti onkọwe ti royin, kii ṣe wiwa iṣẹ ṣiṣe ti ominira. Awọn alaye to ṣe pataki ko si ni arosọ ti a pese, pẹlu abajade ARC-Ipenija ni kikun, awọn ipilẹ-ipilẹ deede, oke-iṣiro, ati bii ọna ti n gbe lọ daradara ju awọn awoṣe idanwo ati awọn ipilẹ data.
Ibeere akọkọ ni boya awọn anfani ti a royin yọ ninu ewu ẹda ominira. Orisun naa jẹ iwe-tẹlẹ arXiv ti a fi silẹ ni Oṣu Kẹjọ Ọjọ 24, Ọdun 2026, ati pe ohun elo ti a pese ni nikan abọtẹlẹ. Nitorina awọn abajade jẹ awọn ẹtọ ti awọn onkọwe ṣe, kii ṣe awọn otitọ ti o jẹri ni ominira. Ṣiṣayẹwo atẹle yẹ ki o ṣe ayẹwo awọn tabili ni kikun, awọn ipilẹsẹ, awọn asọye igbẹkẹle, iyatọ iṣiro, ati boya awọn anfani ti a royin jẹ deede ni gbogbo awọn iwe data mẹrin ati gbogbo awọn idile awoṣe mẹta.
Awọn gbolohun ọrọ ARC-Ipenija ti abstract ko pe: o sọ pe CLLM pẹlu igbẹkẹle Csem ṣe aṣeyọri abajade ṣugbọn ko pese iye naa. Alaye ti o padanu ṣe opin lafiwe pẹlu ẹtọ OpenBookQA pipe ati ṣe idiwọ igbelewọn kikun ti iṣẹ ero ọna naa. Iwe naa tun ṣe ijabọ abajade wiwa kan ni awọn ofin ti wiwa laarin awọn aaye ogorun 1.5 ti AUROC ti o dara julọ ni ọpọlọpọ awọn eto, ṣugbọn orisun ti a pese ko ṣe idanimọ awọn ikun pipe, awọn ọna idije to dara julọ, tabi awọn imukuro.
Awọn ibeere imuṣiṣẹ jẹ pataki bakanna. Iwe naa nlo apejọ ti awọn oluyipada LoRA, ati pe iwe afọwọṣe ko sọ iye awọn alamuuṣẹ ti o nilo, bawo ni wọn ṣe gba ikẹkọ, tabi iye iranti ati akoko itọkasi ti wọn ṣafikun. O tun ṣe agbeyẹwo awọn awoṣe ede ti a darukọ mẹta nikan ati awọn ipilẹ data ti n dahun ibeere mẹrin. Ko jẹ aimọ boya awọn maaki naa ṣiṣẹ fun awọn ibaraẹnisọrọ to gun, iran-ipin-ipin, awọn igbewọle multilingual, awọn iṣẹ ṣiṣe-ašẹ, tabi awọn awoṣe ni ita iwọn idanwo ati iwọn faaji. Titi di idahun awọn ibeere wọnyẹn, CLLM ni itọju ti o dara julọ bi ọna iwadii ti o ni ileri fun wiwọn aidaniloju dipo aabo ti a fọwọsi fun lilo awọn ipin giga.