Nini kilitokea
Watafiti walichapisha MMPIBench, alama ya kutathmini mashambulio ya sindano ya haraka ya multimodal kwenye mifumo ya mawakala ya AI. Utafiti huo ulijaribu mifumo sita na miundo mitano ya msingi katika njia zote za kuona na sauti, na kugundua kuwa ingawa mashambulizi ya kuona yamezuiwa kwa kiasi kikubwa wakati wa kupanga, mashambulizi ya sauti yana kasi ya juu ya kukamilisha wakati miundombinu inawasaidia.
Watafiti walianzisha MMPIBench, inayoweza kuzaliana tena iliyoundwa kupima athari za mashambulio ya sindano ya haraka ya multimodal kwenye mifumo ya kikali ya AI. Mifumo hii huruhusu miundo ya lugha kupanga, kudumisha kumbukumbu, na zana za kupiga simu zinazoingiliana na faili, barua pepe na huduma za ulimwengu halisi. Alama huwasilisha safu zisizobadilika za mashambulizi kupitia vitoa huduma sita vinavyoonekana, ikijumuisha maandishi ya OCR, viwekeleo, metadata ya EXIF, misimbo ya QR, violesura bandia na mahuluti, kufuatilia umbali wa maagizo yaliyodungwa kutoka kwa mtazamo kupitia kupanga hadi utekelezaji wa zana.
Utafiti ulifanya tafiti 720 zinazojumuisha mifumo sita, miundo mitano ya msingi, wabebaji sita, na malengo manne ya washambuliaji. Matokeo yalionyesha kuwa mashambulizi yalikamilika kwa takriban 1% ya kukimbia lakini yalijaribiwa katika 12.8%. Pengo kati ya mashambulio yaliyojaribiwa na kukamilika lilifungwa karibu kabisa katika hatua ya kupanga, ambapo mwanamitindo alisoma maagizo yaliyodungwa na akakataa kuchukua hatua. Muundo mahususi wa msingi uliotumika ulikuwa muhimu zaidi kuliko mfumo wa iwapo maagizo yalitekelezwa; mwanamitindo mmoja hakuwahi kujaribu kushambulia na alitambua sindano katika 59.7% ya kukimbia, wakati wengine wawili walijaribu mashambulizi katika 23.6% ya kukimbia.
Watafiti walipanua alama hiyo hadi sauti, njia nyingine mbichi ya utambuzi inayokubaliwa na mifano ya sasa ya mipaka. Ni miundo miwili tu kati ya tano iliyomeza sauti, na mifumo mitatu pekee kati ya sita ndiyo iliyoiwasilisha. Walakini, ambapo ishara ilifika, shambulio lilikamilishwa katika 49% ya seli, na kuongezeka hadi 75% kwa mfano mmoja maalum. Hii inaonyesha kuwa ingawa chaneli zinazoonekana zinalindwa sana na mantiki ya kupanga, idhaa za sauti ni nyembamba lakini hazitetewi sana, na hivyo kusababisha viwango vya juu vya kufaulu kwa maagizo hasidi.
Maelezo ya chanzo: arxiv.org ↗
Kwa nini ni muhimu
Utafiti huu unatoa ushahidi thabiti, unaoweza kuzalishwa tena kwamba mifumo ya mawakala ya AI, ambayo inaweza kufikia faili na huduma halisi, inasalia katika hatari ya kudungwa kwa njia isiyo ya moja kwa moja kupitia njia zisizo za maandishi. Matokeo yanaangazia pengo muhimu la usalama: wakati sindano za kuona mara nyingi hazibadilishwi na hoja za kielelezo, idhaa za sauti hazitetewi sana na zinaweza kusababisha simu za zana hasidi kufaulu. Hii inasisitiza hitaji la usafishaji thabiti wa pembejeo na mafunzo ya usalama wa njia nyingi katika uwekaji wa mawakala.
Utafiti unaonyesha kuwa kuripoti viwango vya ukamilishaji wa mashambulizi pekee kunapunguza udhihirisho halisi wa usalama wa mifumo ya mawakala ya AI. Kiwango cha juu cha majaribio ya mashambulizi (12.8%) ikilinganishwa na yaliyokamilishwa (1%) kinapendekeza kwamba miundo ya sasa mara nyingi hutambua nia mbaya lakini utetezi huu si sawa katika miundo au mbinu zote.
Ugunduzi kwamba mashambulizi ya sauti yana kasi ya kukamilika kwa 49% katika mazingira yanayotumika inahusu hasa kwa sababu sauti ni njia isiyo ya kawaida ya uingizaji wa utumaji wa mawakala, kumaanisha kwamba inaweza kupokea ukaguzi mdogo wa usalama. Hili huleta mahali ambapo washambuliaji wanaweza kukwepa ulinzi unaoonekana kwa kutumia vifaa vya sauti ili kudanganya mawakala katika kutekeleza simu hatari.
Tofauti kati ya miundo, na muundo mmoja unaotambua sindano katika takriban 60% ya kukimbia na wengine kujaribu mashambulizi kwa zaidi ya 20%, unaonyesha kuwa uteuzi wa miundo ni kipengele muhimu katika usalama wa AI ya mawakala. Mashirika hayawezi kutegemea tu ulinzi wa kiwango cha mfumo na lazima izingatie sifa mahususi za usalama za miundo msingi ya msingi.
Mbinu shirikishi: Jinsi Inavyofanya Kazi Kweli
Chunguza teknolojia msingi nyuma ya ukuzaji huu kwa maingiliano.
An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Nini cha kutazama baadaye
Wasanidi programu na biashara zinazotumia AI ya mawakala wanapaswa kufuatilia masasisho ya MMPIBench na viraka vya usalama vinavyohusiana. Sekta inaweza kuona kuongezeka kwa umakini katika usafishaji wa pembejeo za sauti na idhini kali zaidi ya simu za zana kujibu matokeo haya.
Fuatilia masasisho ya MMPIBench na utafiti unaofuata ambao unaweza kujaribu njia za ziada za utambuzi au vivekta vya uvamizi vya kisasa zaidi. Uzalishaji tena wa kigezo huruhusu uthibitishaji na upanuzi unaoendelea wa jumuiya.
Tazama majibu ya tasnia kutoka kwa wasanidi wakuu wa mifumo ya AI na watoa huduma wa miundo msingi, ambao wanaweza kutoa alama za usalama au mafunzo yaliyosasishwa ya usalama ili kushughulikia udhaifu mahususi unaotambuliwa katika njia za sauti na zinazoonekana.
Angalia jinsi biashara zinazotumia AI ya mawakala hurekebisha itifaki zao za usalama, uwezekano wa kutekeleza uchujaji mkali wa ingizo kwa data isiyo ya maandishi na vidhibiti zaidi vya ruhusa za simu za zana ili kupunguza hatari zilizoangaziwa na utafiti.