Kini o ṣẹlẹ
Awọn oniwadi ṣe ayẹwo boya awọn iwadii ipo-ipamọ ti o nipọn jẹ pataki lati ṣe awari awọn ipalọlọ ni awọn awoṣe ede nla. Kọja awọn awoṣe iwọn 7B mẹta ati awọn ipilẹ data mẹta nipa lilo awọn apẹẹrẹ so pọ, wọn jabo pe ifihan agbara wiwa ti dojukọ pupọju ni itọsọna iyipada-itumọ kan. Yiyọ itọsọna naa dinku iṣẹ wiwa si aye ninu iṣeto idanwo.
Iwe naa ṣe iwadii awọn iwadii ipinlẹ ti o farapamọ, eyiti o ṣe ayẹwo awọn aṣoju inu ti awoṣe ede kan lati ṣe iyatọ boya idahun ṣee ṣe lati jẹ . Awọn onkọwe dojukọ jiometirika ti ami ifihan kuku ju lori deede wiwa akọle nikan. Abajade aarin wọn ni pe, ninu igbelewọn ti wọn ṣe apẹrẹ, iyatọ laarin awọn apẹẹrẹ hallucinated ati ti kii ṣe hallucinated jẹ gaba lori nipasẹ paati iyipada-itumọ kan. Ni awọn ofin to wulo, awọn kilasi meji yatọ ni pataki pẹlu itọsọna kan ni aaye ipo-farasin awọn awoṣe.
Ayẹwo naa bo awọn awoṣe mẹta ti a ṣalaye bi iwọn 7B ati awọn ipilẹ data mẹta. O lo apẹrẹ-apeere ti o so pọ, botilẹjẹpe orisun ko ṣe idanimọ awọn awoṣe tabi awọn iwe-ipamọ data ninu arosọ ti a pese. Awọn onkọwe jabo pe yiyọ itọsọna ti o ga julọ ṣubu iṣẹ wiwa si aye. Abajade yẹn ṣe atilẹyin ẹtọ wọn pe itọsọna ti o gba pupọ julọ ti iyapa lilo ni iṣeto ni pato, ṣugbọn ko fi idi rẹ mulẹ pe gbogbo ifihan agbara ni gbogbo awoṣe ni eto kanna.
Awọn oniwadi ṣe afiwe iwadi ti o rọrun ti L2-regularated logistic-regression pẹlu awọn omiiran ayaworan iṣakoso mejila. Ipadasẹhin logistic ti de AUROC kan ti 0.952, ni ibamu si áljẹbrà, ati boya ibaamu tabi ju awọn omiiran wọnyẹn lọ. Iwe naa tun ṣe ijabọ pe itusilẹ iyasoto laini laini pipade nipa 73% ti aafo iṣẹ laarin onisẹpo onisẹpo kan ati ikasi onisẹpo ni kikun. Ọna ikojọpọ ọpọ-Layer ti a sọ pe LayerMix ti kọja iwadii akiyesi agbekọja kan ti a pe ni CLAP labẹ ilana igbelewọn ti o baamu ati de iṣẹ-oracle-Layer laisi mimọ ipele ti o dara julọ ni ilosiwaju. Awọn onkọwe sọ pe koodu wa ati pe a gba iwe naa si EMNLP 2026.
Papọ, awọn adanwo ti a royin ṣapejuwe ifihan agbara ipinya kan ti o ni idanwo laarin awọn aṣoju-ipinle ti o farapamọ ti idanwo. Abajade jẹ Nitorina nipa bi a ṣe ṣeto awọn apẹẹrẹ ti a ṣe ayẹwo ni aaye aṣoju, kii ṣe ẹtọ pe hallucinations ni idi kan fun gbogbo agbaye. Iyatọ naa ṣe pataki nitori apejuwe jiometirika ti o wulo le ṣe itọsọna apẹrẹ iwadii lakoko ti o tun n fi awọn ibeere gbooro silẹ nipa ihuwasi awoṣe ati igbẹkẹle otitọ ko yanju.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Awọn awari daba pe diẹ ninu awọn idiju ti o han gbangba ni awọn ọna ṣiṣe wiwa le wa lati ṣiṣeroye ifọkanbalẹ iwọn-giga ju lati ami ami aiṣedeede tootọ. Ti abajade ba ṣakopọ, awọn aṣawari ti o rọrun le rọrun lati ṣe ayẹwo, ṣe ẹda ati ranṣiṣẹ, botilẹjẹpe iwe naa fi opin si awọn ẹtọ rẹ si igbelewọn-apẹẹrẹ isakoṣo ti iṣakoso.
Wiwa wulo nikan ti o ba le ṣe idanimọ awọn abajade ti ko ni igbẹkẹle ni kutukutu to fun eto tabi olumulo lati dahun. Abajade iwe naa ṣe pataki nitori pe o koju arosinu oye: wiwa ti o dara julọ ni dandan nilo awọn ọna ṣiṣe iwadii alaye ti o pọ si. Ti classifier laini rọrun kan ya pupọ julọ ifihan agbara ti o wa, awọn olupilẹṣẹ le ni anfani lati kọ awọn aṣawari pẹlu awọn ẹya gbigbe diẹ ati awọn ipo ikuna ti o han gbangba.
Awọn ọna ti o rọrun tun le ṣe afiwe imọ-jinlẹ rọrun. Awoṣe pẹlu awọn paati ẹkọ diẹ le jẹ rọrun lati ṣe ẹda, ṣayẹwo ati idanwo kọja awọn agbegbe. 0.952 AUROC ti o royin jẹ abajade to lagbara laarin igbelewọn iwe naa, lakoko ti afiwera si awọn omiiran mejila fun awọn onkọwe ni ipilẹ fun jiyàn pe eka ti ayaworan ko pese anfani ti o han gbangba nibẹ. Orisun naa ko fi idi rẹ mulẹ pe ọna naa jẹ din owo, yiyara tabi ailewu ni iṣelọpọ, nitorinaa awọn anfani wọnyẹn jẹ awọn ilolu ti o ṣeeṣe dipo awọn abajade afihan.
Iwadi na tun funni ni itumọ dín ti idi ti awọn iwadii idiju le han munadoko. Awọn onkọwe jiyan pe iṣoro iṣiro isomọ-giga, kuku ju aiṣedeede ilokulo, le ṣe akọọlẹ fun pupọ julọ ti anfani ayaworan ti o han gbangba. Iyẹn jẹ iwadii aisan ti o wulo fun awọn oniwadi pinnu ibi ti wọn yoo lo ipa: imudara iṣiro iṣiro le ṣe pataki diẹ sii ju fifi awọn paati alaiṣe ti o nipọn lọ. Sibẹsibẹ, aṣawari ti o ṣe idanimọ ilana-ipinlẹ ti o farapamọ kii ṣe ohun kanna bii eto ti o ṣe idiwọ awọn ipalọlọ, ṣalaye awọn idi wọn tabi ṣe iṣeduro iṣedede otitọ.
Itumọ ti o gbooro da lori titọju abajade ti o ni asopọ si awọn ipo wiwọn rẹ. Iwadii ti o rọrun le mu ilọsiwaju sii nigbati ifihan agbara ti o wa ba wa ni idojukọ, ṣugbọn ayedero funrararẹ ko yanju awọn ibeere nipa kini ifihan ifihan tabi bawo ni o ṣe duro. Nitoribẹẹ iwe naa pese ẹkọ apẹrẹ ti o dojukọ fun iwadii wiwa, lakoko ti o nlọ iye iṣe ti ọna ti o da lori afọwọsi ni ikọja igbelewọn ti a royin.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
Which component of an AI application is the machine-learning model itself?
Kini lati wo tókàn
Idanwo pataki ti o tẹle ni boya abajade jẹ awọn apẹẹrẹ ita ita, kọja awọn titobi awoṣe oriṣiriṣi, awọn datasets ati awọn ibaraenisọrọ olumulo gidi-aye. Awọn oluka yẹ ki o tun wa ẹri nipa awọn idaniloju eke, isọdọtun, igbẹkẹle labẹ iyipada pinpin ati boya wiwa le ṣe atilẹyin awọn ilowosi ti o dinku awọn aṣiṣe awoṣe ipalara.
Iwe naa fi opin si awọn ibeere rẹ ni gbangba si apẹrẹ-apẹrẹ-apẹrẹ ti iṣakoso. Awọn igbelewọn ọjọ iwaju yẹ ki o ṣe idanwo awọn ibaraẹnisọrọ ti nwaye nipa ti ara, awọn ibeere ṣiṣii ati awọn ọran nibiti awoṣe ko ni idaniloju fun awọn idi ti kii ṣe aṣoju nipasẹ apẹẹrẹ so pọ. Orisun ti a pese tun jẹ ki a ko sọ pato iru awọn ipilẹ data ati awọn awoṣe ti a lo, ti o jẹ ki o nira lati ṣe idajọ bawo ni awọn geometry ti o royin le ṣe gbogbogbo.
Iṣẹ ṣiṣe yẹ ki o jẹ ijabọ kọja apapọ AUROC kan. Awọn imuṣiṣẹ adaṣe nilo awọn ala, eke-rere ati awọn oṣuwọn odi-eke, isọdiwọn, agbara lati mu awọn ayipada ati ihuwasi ni kiakia lori awọn akọle. Oluwari kan le ṣe Dimegilio daradara lakoko ti o tun nsọnu paapaa awọn aṣiṣe ti o ṣe pataki tabi ṣe afihan ọpọlọpọ awọn idahun to pe. Idanwo lori awọn awoṣe pẹlu awọn ọna ayaworan oriṣiriṣi, awọn iwọn ati awọn ọna ikẹkọ yoo ṣe iranlọwọ lati pinnu boya wiwa iyipada-itumọ jẹ ohun-ini gbogbogbo tabi ẹya kan ti awọn eto ti a yan.
Awọn oniwadi ati awọn olupilẹṣẹ yẹ ki o tun ṣayẹwo ohun ti o ṣẹlẹ nigbati a ba lo aṣawari naa ni iṣẹ. Orisun naa ko ṣe ijabọ idasi ti a fi ranṣẹ, iwadi olumulo tabi idinku ninu awọn abajade ipalara. Awọn aimọ ti o ṣe pataki pẹlu boya awọn awoṣe le ṣe ikẹkọ tabi ṣe itara lati yago fun iwadii naa, boya ifihan naa yipada lẹhin titọ-titọ, ati boya LayerMix jẹ igbẹkẹle nigbati awoṣe tabi pinpin iṣẹ-ṣiṣe yipada. Atunṣe ominira ni lilo koodu idasilẹ, atẹle nipa igbelewọn lori awọn awoṣe ti a ko rii ati awọn iwe data, yoo jẹ igbesẹ ti nbọ ti o nilari.
Awọn ijinlẹ atẹle wọnyẹn yẹ ki o tọju iyatọ laarin wiwa ifihan kan ati iṣafihan lilo anfani ti ifihan yẹn. Wọn le ṣe alaye boya iṣẹ ṣiṣe wa ni itumọ nigbati awọn apẹẹrẹ ba gba ni oriṣiriṣi, nigbati awọn ipo ba yipada ati nigbati abajade aṣawari kan ba ni ipa lori ipinnu isalẹ. Titi ti ẹri yẹn yoo wa, abajade lọwọlọwọ ni oye ti o dara julọ bi wiwa ti o ni ileri nipa jiometirika oniduro ti idanwo dipo ojutu iṣẹ ṣiṣe pipe.