የውሂብ መመረዝ እና የኋላ በር ጥቃቶች
የውሂብ መመረዝ አንድን ሞዴል የስልጠና መረጃውን በማበላሸት ያበላሸዋል፣ እና የጓሮ ጥቃቶች ሞዴሉን በትእዛዙ ላይ የተሳሳተ ባህሪ እንዲኖራቸው የሚያደርግ ሚስጥራዊ ቀስቅሴን ይደብቃሉ።
አጠቃላይ እይታ
They matter because models increasingly learn from scraped, crowdsourced data that attackers can quietly contaminate.
ጥልቅ ዳይቭ
የመመረዝ ጥቃቶች በሁለት ሰፊ ግቦች ተከፍለዋል። የተገኝነት ጥቃቶች ዓላማቸው የተሳሳተ ወይም የተበላሹ ምሳሌዎችን በመርፌ አጠቃላይ ትክክለኛነትን ለማዋረድ ነው። ያነጣጠሩ እና የኋለኛው በር ጥቃቶች ስናይኪ ናቸው፡ ሞዴሉ በተለመደው ግብዓቶች ላይ በትክክል ይሰራል ነገር ግን የተደበቀ ቀስቅሴ በታየ ቁጥር በአጥቂ የተመረጠ ውፅዓት ያመነጫል ለምሳሌ ትንሽ ፒክስል ፕላች፣ የተወሰነ ሀረግ ወይም የማይታይ የውሃ ምልክት። የባድኔትስ ስራ የማቆሚያ ምልክት ክላሲፋየር አሳይቷል ተለጣፊ ምልክት የተደረገበትን ምልክት እንደ 'የፍጥነት ገደብ' ያነብባል። ዘመናዊ ስርዓቶች በድር-ልኬት መረጃ ላይ ስለሚያሠለጥኑ ይጋለጣሉ. ተመራማሪዎች ከትንሽ የውሂብ ስብስብ ዩአርኤሎች ጀርባ ጊዜ ያለፈባቸው ጎራዎችን መግዛት ታዋቂ የሆኑ የምስል ዳታ ስብስቦችን በጥቂት መቶ ዶላሮች ሊመርዝ እንደሚችል አሳይተዋል። የቋንቋ ሞዴሎች በተመረዘ ጥሩ ማስተካከያ መረጃ ወይም የማስተማሪያ ምሳሌዎች በኩል ወደ ኋላ ሊመለሱ ይችላሉ።
ቴክኒካዊ ግንዛቤ
የጸዳ መለያ የኋላ በር በተለይ አደገኛ ነው፡ የተመረዙ ናሙናዎች ትክክለኛ መለያዎችን ያስቀምጣሉ እና ለሰው ገምጋሚዎች መደበኛ ይመስላሉ፣ነገር ግን ሞዴሉ ከዒላማ ክፍል ጋር ለመያያዝ የሚማርበትን ቀስቅሴ ባህሪን አካተዋል። በምርመራ፣ ቀስቅሴውን ማቅረብ ትንቢቱን ይገለብጣል፣ ንፁህ ትክክለኛነት ግን ከፍተኛ ሆኖ ይቆያል፣ ስለዚህ መደበኛ ማረጋገጫ በጭራሽ አይይዘውም። መከላከያዎች የማግበር ክላስተር ማሰባሰብ፣ የእይታ ፊርማዎች፣ የመልሶ ግንባታ ማስጀመሪያ እና የውሂብ ማረጋገጫ ማረጋገጫዎችን ያካትታሉ።
ስልታዊ ተጽእኖ
አደጋ እና ደህንነት
አስከፊ እና የዕለት ተዕለት የ AI ጉዳቶች ሁለቱም አደጋዎችን የሚረዳው እና ማን እርምጃ ሊወስድ በሚችል ላይ የተመካ ነው።
ግልጽ ውሳኔዎች
ህዝባዊ እና ሙያዊ ማንበብና መጻፍ ጠንካራ የደህንነት ፖሊሲ በፖለቲካዊ መልኩ ይቻል እንደሆነ ይቀርፃል።
በማበረታቻ መቁረጥ
ግልጽ ማብራሪያዎች በማስታወቂያ፣ በቤተ ሙከራ እና ግልጽ ያልሆነ የስነምግባር ቲያትር መያዝን ይቀንሳሉ።
የወደፊቱ የውሂብ መመረዝ እና የጀርባ ጥቃቶች
የአቅርቦት ሰንሰለቶች በተጣሩ መረጃዎች፣ ቀድሞ በሰለጠነ ክብደት እና በሶስተኛ ወገን ጥሩ ማስተካከያ ላይ ስለሚመሰረቱ፣ መመረዝ ከቲዎሪ ወደ እውነተኛ የአቅርቦት ሰንሰለት ስጋት እየተሸጋገረ ነው። የውሂብ ስብስብ ፊርማ እና የፕሮቬንሽን ደረጃዎች፣ ከተወሰኑ የተመረዙ ነጥቦች ጉዳቱን የሚገድብ የተረጋገጠ-ጥንካሬ ስልጠና እና ከመሰማራቱ በፊት ሞዴሎችን ቀጣይነት ያለው የጓሮ ቅኝት ይጠብቁ። እንደ MITER ATLAS ያሉ ተቆጣጣሪዎች እና የደህንነት ማዕቀፎች መርዝን እንደ አንደኛ ደረጃ የማሽን የመማር አደጋ ማከም ጀምረዋል።
የእውነተኛ-ዓለም አተገባበር
ትንሽ ተለጣፊ ቀስቅሴ በሚታይበት ጊዜ የማቆሚያ ምልክትን እንደ የፍጥነት ገደብ ምልክት አድርገው በራሳቸው ለሚነዱ መኪናዎች የእይታ ሞዴል
የምስል ዩአርኤሎችን ክፍልፋይ የሚያስተናግዱ ጊዜ ያለፈባቸው ጎራዎችን በመጥለፍ የህዝብ ምስል ዳታ ስብስብን በርካሽ መርዝ
ኮድ ማጠናቀቂያ ሞዴልን ወደ ኋላ በመመለስ የተደበቀ ፈጣን ሀረግ ደህንነቱ ያልተጠበቀ ኮድ እንዲያስገባ ያደርገዋል
የተወሰኑ ተንኮል አዘል ኢሜይሎች እንዲንሸራተቱ የአይፈለጌ መልእክት ማጣሪያን ብዙ ሰው የተገኘ የሥልጠና ግብረመልስ ማበላሸት።
አደጋዎች እና የጥበቃ መንገዶች
የችሎታ ውህዶች እያለ ነባራዊ ስጋትን እንደ sci-fi ማከም።
ግራ የሚያጋባ የገጽታ ምርት ደህንነት በከፍተኛ ራስን በራስ የማስተዳደር አሰላለፍ።
ዝቅተኛ ጥራት ባላቸው ምንጮች ብቻ እንግሊዝኛ ያልሆኑ እና ባለሙያ ያልሆኑ ታዳሚዎችን መተው።
የትግበራ ፍኖተ ካርታ
የተለየ የምርት ጉዳት፣ አላግባብ መጠቀም እና መቆጣጠርን ማጣት/የማዛመድ አደጋዎች።
በጊዜ እና በክብደት ላይ ያለዎትን አመለካከት ምን አይነት ማስረጃ እንደሚለውጥ ይጠይቁ።
ከገበያ የይገባኛል ጥያቄዎች ይልቅ ዋና ምንጮችን እና ተጨባጭ ግምገማዎችን ይምረጡ።
አንድ የድርጊት መንገድን ይለዩ፡ ሙያ፣ ፖሊሲ፣ የገንዘብ ድጋፍ ወይም ችሎታ - ግንዛቤን ብቻ አይደለም።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Data Poisoning and Backdoor Attacks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ሰው ሰራሽ ውሂብ
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Data Poisoning and Backdoor Attacks?
የውሂብ መመረዝ አንድን ሞዴል የስልጠና መረጃውን በማበላሸት ያበላሸዋል፣ እና የጓሮ ጥቃቶች ሞዴሉን በትእዛዙ ላይ የተሳሳተ ባህሪ እንዲኖራቸው የሚያደርግ ሚስጥራዊ ቀስቅሴን ይደብቃሉ። አስፈላጊ ናቸው ምክንያቱም ሞዴሎች ከጊዜ ወደ ጊዜ አጥቂዎች በጸጥታ ሊበክሉ ከሚችሉ የተቧጨሩ እና የተጨናነቀ መረጃ ስለሚማሩ።
የኋለኛውን ጥቃት ከአጠቃላይ ተገኝነት መመረዝ የሚለየው ምንድን ነው?
በበር የተከፈቱ ሞዴሎች በመደበኛነት በንጹህ ግብዓቶች ላይ ይሰራሉ እና የአጥቂውን ኢላማ ውጤት የሚያመርቱት የተደበቀው ቀስቅሴ ሲመጣ ብቻ ነው።
የንጹህ መለያ የኋለኛ ክፍል ጥቃቶችን ለመለየት የሚከብደው ለምንድነው?
የተመረዙት ምሳሌዎች ትክክለኛ መለያዎች ስላሏቸው እና ተራ ስለሚመስሉ የሰው ልጅ ግምገማ እና መደበኛ የማረጋገጫ ትክክለኛነት አይጠቁማቸውም።
የባድኔትስ ምርምር በታዋቂነት ምን አሳይቷል?
BadNets በትንሽ ተለጣፊ ምልክት የተደረገባቸውን የማቆሚያ ምልክቶችን በተሳሳተ መንገድ የሚያነብ የኋላ በር የትራፊክ ምልክት ክላሲፋየር አሳይቷል።
እንዴት ተመራማሪዎች የድረ-ገጽ መረጃ ስብስቦች በርካሽ ሊመረዙ እንደሚችሉ ያሳዩት?
የውሂብ ስብስቦች ምስሎችን በዩአርኤል ስለሚጠቅሱ፣ ያለፉ ጎራዎችን መግዛት አጥቂዎች እነዚያን ምስሎች በትንሽ ወጪ እንዲቆጣጠሩ ያስችላቸዋል።
ከእነዚህ ውስጥ ከኋላ ለሚደረጉ ጥቃቶች የታወቀ መከላከያ የትኛው ነው?
መከላከያዎች የተመረዙትን ከንጹህ ምሳሌዎች ለመለየት የውስጥ እንቅስቃሴዎችን ይመረምራሉ, ከሌሎች የመፈለጊያ ዘዴዎች መካከል.