Kini o ṣẹlẹ
Iwe arXiv kan ṣafihan TrustDABench, ipilẹ ala fun idanwo boya awọn awoṣe ede nla le ṣe itupalẹ awọn data ti a ti ni igbẹkẹle gẹgẹbi awọn iwe kaakiri ati awọn faili CSV. Awọn onkọwe ṣẹda awọn iṣẹlẹ rudurudu ti eniyan 2,340 lati awọn iru awọn iyipada 19 ati ṣe iṣiro awọn LLM mẹjọ. Iwe naa ṣe ijabọ pe awọn awoṣe nigbagbogbo ṣe agbejade awọn idahun ti o ṣee ṣe ṣugbọn ti ko ṣe atilẹyin, padanu awọn ẹri ikọlu ati yi awọn ipinnu wọn pada nigbati eto tabili tabi awọn ibatan tabili agbelebu ti yipada.
Ibeere agbedemeji iwe naa ni pe iṣayẹwo data eleto ti o tọ nilo diẹ sii ju ṣiṣe ilana awọn iṣẹ ṣiṣe kan. O ṣe alaye igbẹkẹle ni ayika ọna ti o wulo lati ibeere olumulo kan si ẹri data ti o yẹ. Idasilẹ yẹn nyorisi awọn idanwo meji: boya LLM kọ lati dahun tabi beere fun alaye nigbati ko si ọna ẹri to wulo, ati boya o ṣe itọju itupalẹ ti o pe nigbati ẹri kanna ba han ni fọọmu tabili ti o yatọ. Orisun ṣafihan awọn idanwo wọnyi bi awọn iwọn ala ti igbẹkẹle ati agbara.
TrustDABench jẹ itumọ nipasẹ bibẹrẹ pẹlu wiwo-ọna-ẹri ati lilo awọn oniṣẹ ipanilara 19. Awọn onkọwe naa sọ pe awọn oniṣẹ wọnyẹn jẹ imudani nipasẹ ilana iran ti o da lori Agentic-LLM, ti n ṣejade awọn ọran 2,340 ti eniyan jẹrisi. Afoyemọ naa ko ṣe atokọ gbogbo awọn oniṣẹ 19 tabi ṣe alaye ilana ijẹrisi ni awọn alaye. O fi idi rẹ mulẹ pe a ṣe apẹrẹ ala-ilẹ lati ṣafihan awọn ayipada iṣakoso si awọn iṣẹ ṣiṣe data dipo kiki gbigba awọn ibeere lasan ati awọn idahun. Awọn onkọwe ṣe iṣiro awọn LLM aṣoju mẹjọ, ṣugbọn abọtẹlẹ naa ko ṣe idanimọ gbogbo awọn eto mẹjọ tabi ṣapejuwe awọn itọsi wọn, iraye si ohun elo tabi awọn agbegbe ipaniyan.
Awọn awari akọle jẹ iṣẹ alailagbara lori awọn iwọn mejeeji. Abajade igbẹkẹle ti o royin julọ jẹ aropin MRS ti 24.21%, ti o waye nipasẹ GPT-5.5. Abajade agbara ti o royin ti o dara julọ jẹ aropin ASR ti 9.10%, ti o waye nipasẹ Claude-Sonnet-5. Orisun ko ṣe alaye awọn acronyms ni áljẹbrà, nitorina iṣiro gangan wọn ati itọsọna yẹ ki o jẹrisi ni iwe kikun ṣaaju ki o to ṣe afiwe awọn nọmba pẹlu awọn ami-ami miiran. Awọn onkọwe ṣe apejuwe awọn ikuna bi eto: awọn awoṣe ṣọwọn rii ẹri ti o fi ori gbarawọn, nigbagbogbo tẹsiwaju nipasẹ ṣiṣe ṣugbọn awọn ipa ọna itupalẹ ti ko ṣe atilẹyin, ati ni ifarabalẹ si awọn ayipada ti o kan awọn aala akiyesi tabi awọn ibatan tabili tabili.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Awọn LLM ti wa ni lilo siwaju sii lati tumọ iṣowo, imọ-jinlẹ ati data iṣakoso, nibiti idahun ti o yege le fi ipa ọna itupalẹ ti ko tọ pamọ. TrustDABench dojukọ boya awoṣe kan mọ nigbati ẹri ko ba to ati boya o de ipari kanna nigbati alaye deede jẹ aṣoju ni oriṣiriṣi. Awọn abajade ti a royin daba pe gbigbe awọn iṣẹ ṣiṣe-itupalẹ data aṣa le ma ṣe afihan ero igbẹkẹle lori awọn tabili.
Ọrọ ti o wulo ni aafo laarin idahun ti o le ṣe ipilẹṣẹ ati idahun ti o ni atilẹyin nipasẹ data naa. Awoṣe le ni anfani lati tẹle ọna ti iwe kaunti tabi awọn iṣẹ tabili lakoko ti o bẹrẹ lati awọn ori ila ti ko tọ, kọju ilodi si tabi sọja ibatan kan ti ẹri naa ko da. Ni awọn ọran yẹn, ipaniyan aṣeyọri ko ṣe iṣeduro ipari ipari. TrustDABench jẹ abajade nitori pe o fojusi iyatọ yẹn taara dipo ṣiṣe itọju eyikeyi kika tabi idahun kika nọmba bi ẹri ti igbẹkẹle.
Eyi ṣe pataki nibikibi ti eniyan ba lo LLMs lati ṣe akopọ tabi ṣe itupalẹ alaye eleto. Orisun naa ni orukọ awọn iwe kaakiri, awọn faili CSV ati awọn data eleto miiran, ṣugbọn ko ṣe iwe awọn imuṣiṣẹ ni pato awọn ile-iṣẹ tabi jabo awọn ipalara gidi-aye. Awọn ailagbara ti a royin ala naa sibẹsibẹ ṣe idanimọ iṣoro atunyẹwo to wulo: awọn olumulo le nilo lati ṣayẹwo kii ṣe nọmba ikẹhin nikan tabi alaye, ṣugbọn iru awọn igbasilẹ, awọn aala tabili ati awọn ibatan ti awoṣe ti a lo. Awọn awari iwe naa ṣe atilẹyin iṣọra yẹn bi ipari iwadii, kii ṣe bi wiwọn ti o ni idaniloju ominira ti gbogbo eto imuṣiṣẹ.
Awọn abajade tun koju awọn arosinu ipo ipo awoṣe ti o rọrun. GPT-5.5 ṣe aṣeyọri Dimegilio igbẹkẹle ti o lagbara julọ, lakoko ti Claude-Sonnet-5 ṣe aṣeyọri Dimegilio agbara ti o lagbara julọ ti a royin; áljẹbrà ko sọ pe boya eto wà ti o dara ju lori gbogbo iṣẹ-ṣiṣe tabi ti awọn metiriki wiwọn kanna ihuwasi. A awoṣe le nitorina han ni okun sii lori ọkan apa miran nigba ti o ku jẹ ipalara lori miiran. Itumọ ti o gbooro, ni ibamu si iwe naa, ni pe itupalẹ eleto data ti o ni igbẹkẹle nilo idanimọ-aala ẹri mejeeji ati ironu oniduro-ayipada, kii ṣe agbara nla nikan lori awọn iṣẹ ṣiṣe boṣewa.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
What is a common training objective for an autoregressive language model?
Kini lati wo tókàn
Iwe naa tọka si awọn pataki meji: idanimọ ti o dara julọ ti awọn aala ẹri ati ero ti o duro iduroṣinṣin kọja awọn aṣoju tabili oriṣiriṣi. Orisun naa sọ pe koodu ati data wa, ṣugbọn ko ṣe afihan boya ala-ilẹ naa ṣe afihan awọn data-aye gidi-aye, bawo ni awọn awoṣe mẹjọ ṣe afiwera kọja awọn iṣẹ-ṣiṣe kọọkan, tabi boya awọn ailagbara ti o royin tẹsiwaju lẹhin awọn ilọsiwaju ìfọkànsí. Iṣẹ atẹle yẹ ki o ṣe idanwo awọn iwe data itagbangba, ṣiṣan iṣẹ ṣiṣe ati ihuwasi awoṣe lẹhin idinku.
Ohun akọkọ lati wo ni boya koodu ala ati data jẹ ki ẹda ominira ṣiṣẹ. Orisun naa sọ pe “Koodi&Data” wa, ṣugbọn ọrọ ti a pese ko pẹlu ọna asopọ ibi ipamọ, iwe-aṣẹ ala, awọn ọna kika iṣẹ tabi awọn asọye igbelewọn. Awọn alaye wọnyẹn yoo pinnu bi o ṣe rọrun awọn oniwadi le ṣayẹwo awọn idamu, ṣayẹwo awọn sọwedowo eniyan ati loye kini awọn iye MRS ati ASR ṣe iwọn. Titi ti alaye yẹn yoo fi ṣe ayẹwo, awọn ipin ogorun ti o royin yẹ ki o ṣe itọju bi awọn ẹtọ lati inu iwe-tẹlẹ ẹyọkan yii dipo awọn iṣiro iṣẹ ṣiṣe ti a yanju.
Ibeere keji jẹ iwulo ita. TrustDABench ni awọn iṣẹlẹ ti o ni idaniloju-eniyan, ṣugbọn abstrakt ko sọ bi awọn iṣẹlẹ wọnyẹn ṣe jọra awọn iwe kaunti eleto idoti, awọn opo gigun ti data tabi awọn itupalẹ ti a ṣe pẹlu awọn irinṣẹ ita. Ko tun ṣe ijabọ boya awọn abajade yatọ nipasẹ iwọn data, agbegbe, ipele aibikita tabi iru ibatan tabili. Awọn igbelewọn atẹle lori awọn ipilẹ data olominira ati ṣiṣan iṣẹ ṣiṣe gidi yoo ṣe iranlọwọ lati fi idi boya awọn ilana ikuna ti o royin jẹ pato si ala tabi wọpọ ni lilo iṣe.
Lakotan, awọn oniwadi ati awọn olupolowo yẹ ki o ṣe idanwo awọn idinku kuku ju ṣafikun awọn ikun ala diẹ sii nikan. Iwe naa ṣe idanimọ alaye, kiko, wiwa rogbodiyan ati iduroṣinṣin kọja awọn fọọmu tabili bi awọn ihuwasi pataki, ṣugbọn orisun ko ṣe ijabọ idasi kan ti o mu wọn dara si. Awọn igbesẹ ti o tẹle ti o wulo yoo pẹlu iṣayẹwo wiwa kakiri ẹri ti o fojuhan, awọn sọwedowo agbedemeji ti a ṣeto, awọn tako ilodi ati atunyẹwo eniyan lodi si awọn ipadasẹgbẹ kanna. Orisun naa tun ṣii silẹ bii awọn awoṣe ṣe huwa nigbati data nitootọ ko ni idahun, nigbati awọn itumọ pupọ ba ṣee ṣe, tabi nigbati olumulo kan tẹ eto naa lati tẹsiwaju laibikita atilẹyin ti o padanu.