Data Sumu na Mashambulizi Backdoor
Uchafuzi wa data huharibu muundo kwa kuchezea data yake ya mafunzo, na mashambulizi ya mlango wa nyuma huficha kichochezi cha siri kinachofanya kielelezo kifanye vibaya kwa amri.
Muhtasari
They matter because models increasingly learn from scraped, crowdsourced data that attackers can quietly contaminate.
Dive ya kina
Mashambulizi ya sumu yamegawanyika katika malengo mawili mapana. Mashambulizi ya upatikanaji yanalenga kuharibu usahihi wa jumla kwa kuingiza mifano iliyoandikwa vibaya au mbovu. Mashambulizi yanayolengwa na ya mlango wa nyuma ni ya siri zaidi: muundo hufanya kazi kikamilifu kwenye ingizo la kawaida lakini hutoa pato lililochaguliwa na mvamizi kila kichochezi kilichofichwa kinapoonekana, kama vile kiraka cha pikseli, kifungu cha maneno mahususi au alama ya maji isiyoonekana. Kazi ya BadNets ilionyesha kiainisha alama za kuacha kinachosoma ishara yenye alama ya kibandiko kama 'kikomo cha kasi.' Mifumo ya kisasa imefichuliwa kwa sababu inafunza kwenye data ya kiwango cha wavuti. Watafiti walionyesha kuwa kununua vikoa vilivyoisha muda nyuma ya sehemu ndogo ya URL za seti ya data kunaweza kuwa na sumu kwenye mkusanyiko wa picha maarufu kwa dola mia chache. Miundo ya lugha pia inaweza kuwekwa nyuma kupitia data ya usanifu mzuri au mifano ya maagizo.
Ufahamu wa Kiufundi
Mlango wa nyuma wa lebo safi ni hatari sana: sampuli zenye sumu huweka lebo sahihi na zinaonekana kawaida kwa wakaguzi wa kibinadamu, ilhali hupachika kipengele cha vichochezi ambacho mtindo hujifunza kuhusishwa na darasa lengwa. Kwa makisio, kuwasilisha kichochezi hugeuza ubashiri huku usahihi wa hali ya juu ukisalia, kwa hivyo uthibitisho wa kawaida haupati kamwe. Ulinzi ni pamoja na mkusanyiko wa kuwezesha, saini za spectral, uundaji upya wa vichochezi, na ukaguzi wa data.
Athari za kimkakati
Risk and safety
Madhara makubwa na ya kila siku ya AI hutegemea ni nani anayeelewa hatari na ni nani anayeweza kuchukua hatua.
Maamuzi ya wazi zaidi
Usomaji wa umma na kitaaluma huchagiza ikiwa sera thabiti ya usalama inawezekana kisiasa.
Cutting through hype
Ufafanuzi wazi hupunguza kunasa kwa hype, PR ya maabara, na ukumbi wa michezo wa maadili usioeleweka.
Mustakabali wa Uwekaji Sumu wa Data na Mashambulizi ya Mlango wa Nyuma
Kwa vile misururu ya ugavi inategemea data iliyochanwa, uzani uliofundishwa mapema, na urekebishaji mzuri wa wahusika wengine, sumu inabadilika kutoka kwa nadharia hadi tishio halisi la ugavi. Tarajia utiaji saini wa seti ya data na viwango vya matumizi, mafunzo ya uimara yaliyoidhinishwa ambayo yanaweka mipaka ya uharibifu kutoka kwa idadi isiyobadilika ya pointi zilizo na sumu, na uchanganuzi unaoendelea wa miundo kabla ya kutumwa. Vidhibiti na mifumo ya usalama kama vile MITER ATLAS inaanza kutibu sumu kama hatari ya darasa la kwanza ya kujifunza mashine.
Utekelezaji wa Ulimwengu Halisi
Mfano wa maono ya magari yanayojiendesha yakisoma vibaya ishara ya kusimama kama ishara ya kikomo cha mwendo kasi wakati kichochezi kidogo cha vibandiko kipo
Kutia sumu mkusanyiko wa data wa picha za umma kwa bei nafuu kwa kuteka nyara vikoa vilivyokwisha muda wake ambavyo vinapangisha sehemu ya URL za picha zake.
Kuweka nyuma muundo wa kukamilisha msimbo ili maneno ya haraka yaliyofichwa yaifanye kuchomeka msimbo usio salama
Kuharibu maoni ya mafunzo yaliyotokana na umati wa kichujio cha barua taka ili barua pepe mahususi hasidi zipite
Hatari & Walinzi
Kutibu hatari iliyopo kama sci-fi huku uwezo ukichanganya.
Kuchanganya usalama wa bidhaa ya uso na upatanishi chini ya uhuru wa juu.
Inawaacha watazamaji wasio wa Kiingereza na wasio wataalamu wenye vyanzo vya ubora wa chini pekee.
Ramani ya Utekelezaji
Tenganisha madhara ya bidhaa, matumizi mabaya, na hasara ya udhibiti / hatari za kupotosha.
Uliza ni ushahidi gani unaweza kubadilisha maoni yako kuhusu kalenda na ukali.
Pendelea vyanzo vya msingi na tathmini thabiti kuliko madai ya uuzaji.
Tambua njia moja ya hatua: kazi, sera, ufadhili, au ujuzi - sio tu ufahamu.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Data Poisoning and Backdoor Attacks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Data Synthetic
Maswali yanayoulizwa mara kwa mara
What is Data Poisoning and Backdoor Attacks?
Uchafuzi wa data huharibu muundo kwa kuchezea data yake ya mafunzo, na mashambulizi ya mlango wa nyuma huficha kichochezi cha siri kinachofanya kielelezo kifanye vibaya kwa amri. Ni muhimu kwa sababu wanamitindo wanazidi kujifunza kutoka kwa data iliyochapwa, iliyo na watu wengi ambayo washambuliaji wanaweza kuchafua kimya kimya.
Ni nini kinachotofautisha shambulio la mlango wa nyuma kutoka kwa shambulio la sumu ya upatikanaji wa jumla?
Miundo ya nyuma hufanya kazi kwa kawaida kwenye ingizo safi na hutoa matokeo yanayolengwa na mvamizi tu wakati kichochezi kilichofichwa kinapoonekana.
Kwa nini ni vigumu kutambua mashambulizi ya lebo safi kwenye mlango wa nyuma?
Kwa sababu mifano yenye sumu ina lebo sahihi na inaonekana kuwa ya kawaida, ukaguzi wa kibinadamu na usahihi wa kawaida wa uthibitishaji hauashirii.
Utafiti wa BadNets ulionyesha nini kwa umaarufu?
BadNets ilionyesha kiainishi cha alama za trafiki kilichofungiwa kwa nyuma ambacho kinasoma vibaya alama za kusimama zilizo na kibandiko kidogo.
Watafiti walionyeshaje hifadhidata za kiwango cha wavuti zinaweza kuwa na sumu kwa bei rahisi?
Kwa sababu seti za data hurejelea picha kwa kutumia URL, ununuzi wa vikoa vilivyopitwa na wakati huwaruhusu washambuliaji kudhibiti picha hizo kwa gharama ndogo.
Ni ipi kati ya hizi ni ulinzi unaotambulika dhidi ya mashambulizi ya mlango wa nyuma?
Ulinzi huchanganua uanzishaji wa ndani ili kutenganisha sumu kutoka kwa mifano safi, kati ya mbinu zingine za utambuzi.