Kini o ṣẹlẹ
Awọn oniwadi ṣe atẹjade MMPIBench, ala ti n ṣe igbelewọn awọn ikọlu abẹrẹ iyara multimodal lori awọn ilana AI aṣoju. Iwadi na ṣe idanwo awọn ilana mẹfa ati awọn awoṣe ipilẹ marun kọja wiwo ati awọn ikanni ohun, wiwa pe lakoko ti awọn ikọlu wiwo ti dina pupọ lakoko igbero, awọn ikọlu ohun ni oṣuwọn ipari ti o ga pupọ nigbati awọn amayederun ṣe atilẹyin wọn.
Awọn oniwadi ṣe afihan MMPIBench, ala atunwi ti a ṣe apẹrẹ lati wiwọn ipa ti awọn ikọlu abẹrẹ iyara multimodal lori awọn ilana AI aṣoju. Awọn ilana wọnyi gba awọn awoṣe ede laaye lati gbero, ṣetọju iranti, ati awọn irinṣẹ ipe ti o nlo pẹlu awọn faili gidi-aye, awọn imeeli, ati awọn iṣẹ. Aṣepari naa ṣafihan eto ikọlu ti o wa titi nipasẹ awọn gbigbe wiwo mẹfa, pẹlu ọrọ OCR, awọn agbekọja, metadata EXIF , awọn koodu QR, awọn atọkun iro, ati awọn arabara, titọpa bawo ni awọn ilana itasi ṣe rin irin-ajo lati akiyesi nipasẹ igbero si ipaniyan irinṣẹ.
Iwadi naa ṣe awọn ṣiṣe 720 ti o bo awọn ilana mẹfa, awọn awoṣe ipilẹ marun, awọn gbigbe mẹfa, ati awọn ibi-afẹde ikọlu mẹrin. Awọn abajade fihan pe awọn ikọlu pari ni isunmọ 1% ti awọn ṣiṣe ṣugbọn a gbiyanju ni 12.8%. Aafo laarin igbidanwo ati awọn ikọlu ti pari ti wa ni pipade patapata ni igbesẹ igbero, nibiti awoṣe ti ka ilana itasi ti o kọ lati ṣiṣẹ. Awoṣe ipilẹ kan pato ti a lo ṣe pataki diẹ sii ju ilana fun boya ilana kan ti ṣiṣẹ lori; ọkan awoṣe kò igbidanwo a kolu ati ki o mọ abẹrẹ ni 59,7% ti awọn gbalaye, nigba ti meji miran igbidanwo ku ni 23,6% awọn gbalaye.
Awọn oniwadi naa faagun ala si ohun afetigbọ, ikanni oye aise miiran nikan ti o gba nipasẹ awọn awoṣe aala lọwọlọwọ. Nikan meji ninu awọn awoṣe marun ni o gba ohun, ati pe mẹta nikan ninu awọn ilana mẹfa ti o fi jiṣẹ. Sibẹsibẹ, nibiti ifihan ti de, ikọlu pari ni 49% ti awọn sẹẹli, dide si 75% fun awoṣe kan pato. Eyi tọkasi pe lakoko ti awọn ikanni wiwo ti ni aabo pupọ nipasẹ ọgbọn igbero, awọn ikanni ohun orin dín ṣugbọn o dinku pupọ, ti o yori si awọn oṣuwọn aṣeyọri giga fun awọn ilana irira.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Iwadi yii n pese nija, ẹri atunwi pe awọn eto AI aṣoju, eyiti o le wọle si awọn faili ati awọn iṣẹ gidi, jẹ ipalara si abẹrẹ taara taara nipasẹ awọn ikanni ti kii ṣe ọrọ ọrọ. Awọn awari ṣe afihan aafo aabo to ṣe pataki: lakoko ti awọn abẹrẹ wiwo nigbagbogbo jẹ didoju nipasẹ ero awoṣe, awọn ikanni ohun afetigbọ ko ni aabo ati pe o le ja si awọn ipe irinṣẹ irira aṣeyọri. Eyi tẹnumọ iwulo fun imototo igbewọle ti o lagbara ati ikẹkọ ailewu modal pupọ ni awọn imuṣiṣẹ aṣoju.
Iwadi na ṣe afihan pe ijabọ nikan ni awọn oṣuwọn ipari ikọlu n ṣe afihan ifihan aabo gangan ti awọn eto AI aṣoju. Iwọn giga ti awọn ikọlu igbiyanju (12.8%) ni akawe si awọn ti o pari (1%) ni imọran pe awọn awoṣe lọwọlọwọ nigbagbogbo ṣe idanimọ ero irira ṣugbọn pe aabo yii kii ṣe aṣọ-aṣọpọ kọja gbogbo awọn awoṣe tabi awọn ipo.
Wiwa pe awọn ikọlu ti o da lori ohun ni oṣuwọn ipari 49% ni awọn agbegbe atilẹyin jẹ pataki nitori ohun afetigbọ jẹ ikanni igbewọle ti ko wọpọ fun ọpọlọpọ awọn imuṣiṣẹ aṣoju, afipamo pe o le gba ayewo aabo kere si. Eyi ṣẹda aaye afọju ti o pọju nibiti awọn ikọlu le fori awọn aabo wiwo nipa lilo awọn igbewọle ohun lati ṣe afọwọyi awọn aṣoju sinu ṣiṣe awọn ipe irinṣẹ ipalara.
Iyatọ laarin awọn awoṣe, pẹlu awoṣe kan ti o mọ awọn abẹrẹ ni o fẹrẹ to 60% ti awọn ṣiṣe ati awọn miiran ngbiyanju awọn ikọlu ni ju 20%, ṣe afihan pe yiyan awoṣe jẹ ifosiwewe pataki ni aabo AI aṣoju. Awọn ile-iṣẹ ko le gbarale awọn aabo ipele-ila nikan ati pe o gbọdọ gbero awọn abuda ailewu kan pato ti awọn awoṣe ipilẹ ipilẹ.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Kini lati wo tókàn
Awọn olupilẹṣẹ ati awọn ile-iṣẹ katakara ti n mu AI aṣoju ṣiṣẹ yẹ ki o ṣe atẹle fun awọn imudojuiwọn si MMPIBench ati awọn abulẹ aabo ti o ni ibatan. Ile-iṣẹ naa le rii idojukọ pọ si lori imototo igbewọle ohun ati igbanilaaye ti o muna fun awọn ipe irinṣẹ ni idahun si awọn awari wọnyi.
Bojuto fun awọn imudojuiwọn si MMPIBench ati iwadi ti o tẹle ti o le ṣe idanwo awọn ikanni oye afikun tabi awọn apanija ikọlu diẹ sii. Atunse ala-ilẹ gba laaye fun ijẹrisi agbegbe ti nlọ lọwọ ati imugboroja.
Ṣọra fun awọn idahun ile-iṣẹ lati ọdọ awọn olupilẹṣẹ ilana AI pataki ati awọn olupese awoṣe ipilẹ, ti o le tu awọn abulẹ aabo tabi ikẹkọ aabo imudojuiwọn lati koju awọn ailagbara kan pato ti a damọ ni ohun ati awọn ikanni wiwo.
Ṣe akiyesi bii awọn ile-iṣẹ ti n gbe AI oluranlowo ṣe ṣatunṣe awọn ilana aabo wọn, ni ilodi sisẹ sisẹ titẹ sii ti o muna fun data ti kii-ọrọ ati awọn iṣakoso igbanilaaye granular diẹ sii fun awọn ipe irinṣẹ lati dinku awọn eewu ti a ṣe afihan nipasẹ iwadi naa.