Iwadii Wa Awọn aami Aabo AI Le Lo Awọn Idanwo Ti o kere pupọ

Kini o ṣẹlẹ

Iwe iwadi ti a fiweranṣẹ ni Oṣu Kẹjọ Ọjọ 5 lo ọna kan lati inu idanwo eto-ẹkọ lati wiwọn kini awọn ami-ami aabo AI mu, yan awọn eto kekere ti awọn itara to wulo, ati ṣayẹwo awọn ayipada ninu ihuwasi awoṣe.

Awọn oniwadi olominira meji ati awọn oniwadi meji ti o somọ pẹlu Ile-iṣẹ Aabo UK AI Aabo ṣe iṣiro awọn awoṣe iwiregbe 192 lori awọn ami-ami mẹjọ ti o bo ikọsilẹ-ibeere ipalara, ikọsilẹ ti awọn ibeere alaiṣe, ipalara ọrọ-ọrọ, ati otitọ. Suite ni kikun ni awọn ilana 5,255 wa ṣaaju ṣiṣe iṣaaju; onínọmbà naa ni idaduro 5,067 lẹhin yiyọ awọn idahun ti ko ni iyasọtọ ati awọn nkan ti ko ṣe iyatọ laarin awọn awoṣe idanwo.

Ẹgbẹ naa ṣe itọju awọn awoṣe bi awọn oludanwo ati awọn itọsi ala bi awọn ohun idanwo, ni lilo ilana idahun ohun kan lati ṣero iru awọn itọsi ti o nira ati iru awọn awoṣe ti o yapa dara julọ. Ninu itupale ifosiwewe akọkọ rẹ, ojutu ifosiwewe oni-mẹta kan — ti a ṣoki bi idina kiko, otitọ, ati ipalara ọrọ-ọrọ - ṣe alaye 77% ti iyatọ ninu awọn agbara awoṣe, ni akawe pẹlu 47% fun ipin kan.

Ni ikọja awọn igbelewọn 20 ti o waye, awọn idanwo iyara-25 ti o wa titi mẹta gba pada awọn nkan mẹta yẹn ni lilo o kere ju 2% ti suite naa. Fun HarmBench, SORRY-Bench, ati OR-Bench-Hard, ni aijọju 10 awọn itọsi ti o yan ni ibamu ti a ṣe atunṣe awọn ipo ala-kikun pẹlu awọn ibamu ti 0.92 si 0.94 ati ge nọmba awọn itọsi nipasẹ 97–99%; anfani dín bi awọn igbeyewo isuna dagba.

Awọn funmorawon ni ko nìkan laileto iṣapẹẹrẹ. Ilana idahun ohun kan ṣe iṣiro bawo ni iyara kọọkan ṣe le ati bii o ṣe ya awọn awoṣe pẹlu awọn ilana idahun oriṣiriṣi, lẹhinna yan awọn ohun kan ti o tọju igbekalẹ ti idanwo nla naa. Awọn onkọwe ṣe afiwe awọn fọọmu kukuru ti o wa titi pẹlu yiyan adaṣe ati ṣe awọn igbelewọn dipo wiwọn nikan data ti a lo lati yan awọn itọsi. Apẹrẹ yẹn ṣe atilẹyin ẹtọ dín pe diẹ ninu awọn ipo ala-ilẹ ti o wa tẹlẹ le ṣe ẹda daradara; ko ṣe afihan pe idanwo 10- tabi 25-ohun kan le ṣe iwari ipo ikuna tuntun patapata.

Awọn alaye orisun: Rivera and colleagues' research paper on arXiv ↗

Kini idi ti o ṣe pataki

Iwadi na daba pe awọn itọsi ti a yan ti o dara julọ le jẹ ki awọn sọwedowo aabo AI loorekoore din owo laisi dibọn pe gbogbo ala ṣe iwọn Dimegilio aabo agbaye kan.

Awọn idanwo ti o din owo le jẹ ki awọn olupilẹṣẹ, awọn ile-iṣere kekere, ati awọn oluyẹwo ominira ṣayẹwo awọn ẹya awoṣe diẹ sii lakoko ikẹkọ, atunṣe-daradara, titobi, ati awọn ayipada iyara-eto. Abajade jẹ nipa ṣiṣatunṣe awọn wiwọn ala ti o wa tẹlẹ daradara, kii ṣe faagun ohun ti awọn ala-ilẹ yẹn le rii.

Itupalẹ ifosiwewe tun ṣafihan iṣowo igbelewọn kan. Awọn aami aṣepari ti o kọ ẹsan le ni lqkan pẹlu ara wọn, lakoko ti ala-ilẹ fun yago fun awọn ijusilẹ ti ko wulo ni ere ihuwasi idakeji. Iwọnwọn wọn laisi ṣiṣe alaye awọn iwuwo le tọju boya awoṣe kan di ailewu, ihamọ diẹ sii, tabi kere si iwulo lori awọn ibeere alaiwu.

Iwe naa tun ṣe idanwo awọn ọna iṣayẹwo apoti dudu lori imọọmọ ti o ṣe itusilẹ ihuwasi iyanrin. Ayẹwo-apẹẹrẹ esi ti mu aibikita ti o yan ṣugbọn o padanu iṣẹ ṣiṣe ti aṣọ pupọ julọ; fifi ayẹwo agbara itan ṣe dide wiwa apapọ si 94–97% kọja awọn ọran ti afarawe. Iyẹn ṣe atilẹyin awọn iṣayẹwo siwa dipo igbẹkẹle lori Dimegilio ẹyọkan.

Fun awọn olupilẹṣẹ, iye iṣiṣẹ jẹ igbohunsafẹfẹ. Atunyẹwo kukuru le jẹ atunṣiṣẹ lẹhin iyipada-kia eto kan, iwe-aṣẹ iwọn iwọn, atunṣe didara, imudojuiwọn irinṣẹ, tabi atunyẹwo eto imulo ailewu laisi jijẹ isuna ti ipilẹ ala ni kikun ni igba kọọkan. Ṣugbọn abajade jẹ iwulo nikan nigbati awọn ẹgbẹ ba tọju suite atilẹba bi iṣayẹwo igbakọọkan, yiyi awọn itọsi ti o waye, ati ṣe iwadii awọn ayipada iyalẹnu dipo iṣapeye taara fun idanwo fisinuirindigbindigbin. Bibẹẹkọ ayẹwo olowo poku le di ibi-afẹde miiran fun apọju.

Kini lati wo tókàn

Ṣọra fun ẹda olominira, afọwọsi lori awọn idile awoṣe ọjọ iwaju, ati ẹri pe awọn idanwo kuru ṣe asọtẹlẹ ihuwasi ni ita awọn aami aṣepari ti wọn ṣe lati ṣe ẹda.

Eyi jẹ atẹjade tuntun, kii ṣe idajo atunyẹwo ẹlẹgbẹ ti pari. Iṣiro-iṣiro-iṣiro ti lo awọn awoṣe 134, eyiti awọn onkọwe ṣe akiyesi jẹ kekere nipasẹ awọn iṣedede psychometric ti aṣa, ati ọna isediwon yiyan ni idaduro awọn ifosiwewe meji kuku ju mẹta lọ. Awọn orukọ ifosiwewe jẹ awọn akopọ ti o ni agbara, kii ṣe awọn itumọ ti aabo.

Awoṣe kọọkan ṣe agbejade esi kan fun iyara to wa nipasẹ OpenRouter, ati pe ala kọọkan lo adajọ adaṣe adaṣe ti a fun ni aṣẹ. Awọn idanwo kukuru ti o yọrisi le jogun awọn abawọn ninu awọn ipilẹṣẹ atilẹba, awọn ofin igbelewọn, agbegbe ede, ati awọn onidajọ; Awọn onkọwe sọ ni gbangba pe funmorawon ko ṣe afihan pe ala kan sọtẹlẹ aabo imuṣiṣẹ tabi duro alaye fun awọn awoṣe iwaju.

Awọn idanwo apo iyanrin ti a lo ti tọ awọn oni-aye awoṣe kuku ju awọn awoṣe aifwy daradara lati yago fun igbelewọn, eyiti o le rọrun lati rii. Awọn sọwedowo API ṣe agbekalẹ ilọsiwaju ihuwasi, kii ṣe idanimọ ti awọn iwuwo awoṣe ti o farapamọ, ati pe iwadi naa ko ṣe idanwo ọta kan ti o ni ikẹkọ pataki lati ṣẹgun awọn ọna iṣayẹwo.

Aala pataki ti iwe naa wa laarin ṣiṣe wiwọn ati idaniloju aabo. Fọọmu kukuru kan le ṣe iṣiro awọn ifosiwewe wiwakọ ti o wa ninu ipilẹ ala atilẹba, ṣugbọn o jogun ede ala-ilẹ yẹn, onidajọ, fifisilẹ kiakia, ati awọn aaye afọju. Awọn igbelewọn ọjọ iwaju yẹ ki o ṣe idanwo awọn itọsi multilingual, awọn aṣoju ti n ṣiṣẹ irinṣẹ, awọn ibaraẹnisọrọ gigun, awọn awoṣe aifwy ti o dara ọta, ati awọn idajọ eniyan ominira. Wọn yẹ ki o tun jabo nigbati Dimegilio fisinuirindigbindigbin di riru, nitori ibamu afinju lori data ti o waye le tọju ikuna kan lori idile awoṣe atẹle.

Ofin isọdọmọ ti o wulo tẹle lati awọn idiwọn wọnyẹn: lo awọn idanwo fisinuirindigbindigbin bi sentinels, kii ṣe awọn idajọ. Awọn ẹgbẹ le ṣiṣe wọn nigbagbogbo lati yẹ awọn ifasilẹyin, lẹhinna mu iyipada pọ si ala-kikun ati atunyẹwo eniyan nigbati fọọmu kukuru ba lọ lairotẹlẹ. Ẹri ti ara ẹni ti iwadii n ṣe atilẹyin ṣiṣan iṣẹ ṣiṣe siwa nitori pe eto ifosiwewe jẹ lati awọn itọsi kan pato, awọn onidajọ, ati awọn abajade awoṣe. Titẹjade awọn ohun ti a yan, koodu yiyan, awọn abajade ti o waye, ati itan-akọọlẹ ẹya yoo jẹ ki awọn oluyẹwo ominira ṣayẹwo boya awọn idanwo kukuru wa ni alaye lẹhin ti awọn olupilẹṣẹ rii wọn ati lẹhin awọn idile awoṣe tuntun yipada pinpin awọn idahun.

Itọkasi kanna ṣe pataki nigbati awoṣe ba ti ni imudojuiwọn. Idanwo kukuru ti a ṣe iwọn lori iran kan le di irọrun pupọ, dín ju, tabi lairotẹlẹ ni ibamu pẹlu itọsi eto tuntun kan. Awọn ẹgbẹ yẹ ki o tọju awọn ẹya iṣaaju, ṣafihan nigbati ohun kan tabi adajọ ba yipada, ati jabo awọn aarin igbẹkẹle dipo ti fifihan ipo fisinuirindigbindigbin bi Dimegilio ailewu deede. Awọn iṣe wọnyẹn yi abajade ṣiṣe ti iwe naa pada si eto ibojuwo ti a ṣe ayẹwo lakoko ti o tọju ala-ilẹ atilẹba ti o wa fun atunyẹwo jinlẹ.

Awọn itọsọna ti o jọmọ & awọn ibeere