Kini o ṣẹlẹ
Awọn oniwadi ṣafihan FuzzingBrain-Bench V1, ala-ilẹ ti a ṣe apẹrẹ lati wiwọn awari kokoro-iṣii-iṣiro nipasẹ awọn awoṣe ede nla. Dipo ti bibeere awoṣe lati ṣe ẹda ailagbara ti a mọ, ala-ilẹ naa fun ni iṣẹ akanṣe-ìmọ ati ijanu idanwo ohun elo imototo inu aworan Docker ti ara ẹni. Awoṣe gbọdọ ṣe ina awọn igbewọle ti o nfa ọpọlọpọ awọn ibuwọlu jamba pato bi o ti ṣee ṣe.
Awọn onkọwe ṣe apejuwe FuzzingBrain-Bench V1 gẹgẹbi igbelewọn ti agbara awọn awoṣe AI lati ṣawari awọn idun ni sọfitiwia orisun-ìmọ laisi ibi-afẹde ti a ti pinnu tẹlẹ. Ipenija kọọkan n pese iṣẹ akanṣe kan ati ijanu ohun elo imototo ni aworan Docker ti ara ẹni. Iṣẹ-ṣiṣe awoṣe ni lati gbejade awọn igbewọle ti o fa awọn ipadanu nipasẹ ijanu yẹn. Eyi yi ibeere igbelewọn pada lati “Ṣe awoṣe le ṣe ẹda ikuna ti a mọ?” si “Awọn ikuna oriṣiriṣi melo ni awoṣe le ṣii ni iṣeto idanwo ti ko mọ?”
Aṣepari naa ṣe idiyele ipenija kọọkan ni ibamu si nọmba awọn ibuwọlu jamba ọtọtọ ti a ṣe. Dimegilio naa jẹ ami iyasọtọ ti o pọju ti a ti sọ tẹlẹ ati iwuwo nipasẹ olusọdipúpọ iṣoro kan. Ẹya akọkọ ni awọn italaya 77 ti o fa lati awọn iṣẹ orisun-ìmọ 43: Awọn italaya 36 C, awọn italaya C ++ 32 ati awọn italaya Java/JVM mẹsan. Iwe naa jẹ oju-iwe 21-oju-iwe arXiv ti a fi silẹ ni Oṣu Kẹjọ Ọjọ 25, Ọdun 2026, ati pe awọn onkọwe sọ pe koposi ala ati awọn ijanu wa ni gbangba.
Awọn oniwadi ṣe iṣiro Claude Haiku 4.5, Claude Sonnet 4.6 ati Claude Opus 4.8 kọja ala-kikun. Gẹgẹbi orisun naa, Opus 4.8 ṣe iṣẹ ti o dara julọ, ti nfa ipadanu ni 60 ti awọn italaya 77 ati gbigba aami ti 196 ninu 579. Ko si ọkan ninu awọn awoṣe mẹta ti o fa ijamba ni awọn italaya 13. Orisun naa ko pese awọn iṣiro kikun awọn awoṣe meji miiran tabi ṣalaye iru awọn iṣẹ akanṣe kọọkan fun awọn abajade.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Ala-ilẹ n ṣalaye aropin kan ninu ọpọlọpọ awọn igbelewọn ti o wa tẹlẹ: awoṣe le rii ikuna to wulo ti ko baamu ailagbara ti o yan nipasẹ apẹẹrẹ ala, sibẹsibẹ gba ko si kirẹditi. Idanwo ipari-iṣii diẹ sii le pese iwọn iwulo ti bii awọn eto AI ṣe n ṣe lakoko wiwa ailagbara ati idanwo sọfitiwia, lakoko ti o nfihan ibiti awọn agbara gbangba wọn ko pe.
Awọn ọrọ igbelewọn-ipari ṣiṣi nitori awọn ibi-afẹde ti a ti sọ tẹlẹ le dín ohun ti o ṣe pataki bi aṣeyọri. Ti awoṣe ba ṣe ipilẹṣẹ jamba to wulo ti o yatọ si ikuna ibi-afẹde, ala ibi-afẹde kan le tọju abajade bi aṣiṣe tabi ko ṣe pataki. FuzzingBrain-Ijoba ngbiyanju lati gba agbara iṣawari ti o gbooro sii nipa kika awọn ibuwọlu jamba pato dipo ki o nilo titẹ sii ẹri-ti-ero kan pato. Apẹrẹ yẹn le ṣe awọn afiwera alaye diẹ sii fun awọn olupolowo ti n ṣe ayẹwo awọn irinṣẹ idanwo iranlọwọ AI.
Awọn abajade tun fi awọn opin si awọn ẹtọ nipa ifaminsi AI lọwọlọwọ ati awọn agbara aabo. Opus 4.8 nfa o kere ju jamba kan ninu ọpọlọpọ awọn italaya, ṣugbọn Dimegilio gbogbogbo rẹ jẹ 196 ti 579, ati pe gbogbo awọn awoṣe idanwo mẹta kuna lati fa jamba kan ni awọn italaya 13. Ijamba jẹ ẹri pe titẹ sii mu ki eto ohun elo ti kuna; kii ṣe, funrararẹ, ẹri ti ailagbara aabo ti o lo nilokulo latọna jijin, abawọn to gaju, tabi alemo to wulo. Nitorina ala-ilẹ naa ṣe iwọn ipele pataki kan ti iṣawari kuku ju iwadii ailagbara pipe.
Kopu ti gbogbo eniyan ati ṣeto awọn ijanu le fun awọn oniwadi aabo sọfitiwia ni ibusun idanwo ti o wọpọ fun kikọ ihuwasi awoṣe. O le ṣe iranlọwọ lati ṣafihan boya awọn ọna ṣiṣe rii awọn ikuna ti o han gbangba nikan, boya wọn le ṣawari awọn ipa-ọna koodu aimọ, ati bii iṣẹ ṣiṣe wọn ṣe yipada pẹlu agbara awoṣe tabi apẹrẹ iṣẹ-ṣiṣe. Ṣugbọn orisun naa jẹ ijabọ ala ala kan nikan ko si fi idi rẹ mulẹ pe awọn ipo rẹ yoo dimu lori awọn ibi ipamọ miiran, awọn ede, awọn ijanu, awọn ẹya awoṣe tabi awọn agbegbe iṣẹ.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
Which component of an AI application is the machine-learning model itself?
Kini lati wo tókàn
Awọn ibeere akọkọ jẹ boya ala-ilẹ ṣe agbejade awọn abajade atunwi laarin awọn awoṣe ati awọn ẹgbẹ iwadii, bawo ni awọn ibuwọlu jamba ṣe baamu pẹlu awọn idun sọfitiwia tootọ tabi awọn ailagbara aabo, ati boya awọn gbigbe iṣẹ kọja awọn iṣẹ akanṣe orisun ṣiṣi ti a yan. Orisun naa ṣe ijabọ awọn ikun ala, ṣugbọn ko ṣe agbekalẹ ilokulo, iwuwo, awọn atunṣe, awọn iṣẹlẹ gidi-aye, tabi afọwọsi ominira.
Atẹle bọtini jẹ atunwi ominira. Orisun naa sọ pe koposi ati awọn ijanu wa ni gbangba, ṣugbọn ko ṣe ijabọ awọn abajade lati awọn ẹgbẹ ita. Tun-ṣiṣẹ awọn italaya pẹlu awọn ẹya awoṣe ti o wa titi, awọn isuna-owo ati awọn igbanilaaye irinṣẹ yoo ṣe iranlọwọ lati pinnu boya ipo ti o royin jẹ agbara tabi ifarabalẹ si itasi, akoko wiwa, awọn amayederun ati awọn yiyan imuse miiran.
Awọn oniwadi ati awọn oṣiṣẹ yoo nilo lati ṣayẹwo bii ala-ilẹ ṣe yi awọn ipadanu sinu awọn awari ti o ni ibatan si aabo. Orisun naa ko sọ boya awọn ipadanu naa jẹ titọ nipasẹ awọn eniyan, ti ya aworan si awọn ọran ti a mọ, awọn ipele pataki ti a sọtọ, tabi yipada si awọn abulẹ. Ko tun sọ bi a ṣe n ṣakoso ihuwasi pidánpidán ni ikọja lilo ala-ilẹ ti awọn ibuwọlu jamba pato. Awọn alaye wọnyẹn yoo pinnu bi Dimegilio ṣe sunmọ iye wiwa kokoro to wulo.
Agbegbe ala-ilẹ jẹ aropin miiran lati ṣe atẹle. Awọn italaya 77 rẹ wa lati awọn iṣẹ orisun orisun 43 ati idojukọ lori C, C ++ ati sọfitiwia Java/JVM. Orisun naa ko fi idi iṣẹ mulẹ lori awọn ede miiran, awọn ọna ṣiṣe ohun-ini, awọn koodu koodu nla, sọfitiwia ailewu iranti tabi awọn iṣẹ iṣelọpọ. Ko tun ṣe ijabọ idiyele, akoko, iraye si ohun elo, awọn oṣuwọn eke, tabi boya awọn igbewọle ti ipilẹṣẹ le ba awọn eto jẹ ni ita agbegbe Docker ti o ya sọtọ.
Abajade ti awọn onkọwe yẹ ki o ka bi wiwọn kutukutu, kii ṣe ẹri pe AI le ni aabo sọfitiwia ominira. Awọn igbesẹ atẹle ti o wulo julọ yoo pẹlu awọn eto ipenija ti o gbooro, awọn abajade awoṣe ti o han gbangba, afọwọsi eniyan ti awọn abawọn ti a ṣe awari, awọn afiwera pẹlu awọn irinṣẹ iruju ti iṣeto ati awọn oniwadi eniyan, ati awọn idanwo boya awọn awoṣe le ṣe alaye, ṣe ẹda ati iranlọwọ ṣe atunṣe awọn ikuna ti wọn rii. Titi awọn abajade yẹn yoo wa, iye iwulo ti ala jẹ mimọ julọ bi ọna lati jẹ ki awọn ibeere idanwo aabo AI nilo diẹ sii ati afiwera.