አዲስ ቤንችማርክ ለመልቲሞዳል ፈጣን መርፌ ተጋላጭ የሆኑ ወኪሎችን የኤአይአይ ማዕቀፎችን ያሳያል

ምን ተፈጠረ

ተመራማሪዎች በኤጀንሲ የኤአይአይ ማዕቀፎች ላይ የመልቲሞዳል ፈጣን መርፌ ጥቃቶችን የሚገመግም መለኪያ የሆነውን MMPIBench አሳትመዋል። ጥናቱ በምስል እና ኦዲዮ ቻናሎች ላይ ስድስት ማዕቀፎችን እና አምስት የመሠረት ሞዴሎችን ሞክሯል ፣በእቅድ ጊዜ ምስላዊ ጥቃቶች በብዛት የሚታገዱ ቢሆንም ፣የድምጽ ጥቃቶች መሠረተ ልማት ሲደግፉ በከፍተኛ ደረጃ የማጠናቀቂያ ደረጃ አላቸው።

ተመራማሪዎች የመልቲሞዳል ፈጣን መርፌ ጥቃቶችን በወኪል AI ማዕቀፎች ላይ ያለውን ተጽእኖ ለመለካት የተነደፈውን ኤምኤምፒቢንች፣ ሊባዛ የሚችል መለኪያ አስተዋውቀዋል። እነዚህ ማዕቀፎች የቋንቋ ሞዴሎች ከእውነተኛ ዓለም ፋይሎች፣ ኢሜይሎች እና አገልግሎቶች ጋር የሚገናኙ መሳሪያዎችን እንዲያቅዱ፣ ማህደረ ትውስታን እንዲጠብቁ እና እንዲደውሉ ያስችላቸዋል። ማመሳከሪያው የOCR ጽሑፍን፣ ተደራቢዎችን፣ EXIF ​​ዲበዳታ፣ QR ኮዶችን፣ የውሸት መገናኛዎችን እና ድቅልን ጨምሮ ቋሚ የጥቃት ስብስቦችን በስድስት ምስላዊ አጓጓዦች ያቀርባል፣ በመርፌ የተወጉ መመሪያዎች ከእቅድ እስከ መሳሪያ አፈጻጸም ድረስ ከአመለካከት እስከ ምን ያህል እንደሚጓዙ ይከታተላል።

ጥናቱ ስድስት ማዕቀፎችን፣ አምስት የመሠረት ሞዴሎችን፣ ስድስት ተሸካሚዎችን እና አራት የአጥቂ ዓላማዎችን ያካተተ 720 ሩጫዎችን አድርጓል። ውጤቶቹ እንደሚያሳዩት ጥቃቶች በግምት 1% ሩጫዎች የተጠናቀቁ ቢሆንም በ12.8% ሙከራ ተደርጓል። በተሞከረው እና በተጠናቀቁ ጥቃቶች መካከል ያለው ልዩነት ሙሉ በሙሉ ማለት ይቻላል በእቅድ ደረጃ ተዘግቷል፣ ሞዴሉ የተወጋውን መመሪያ አንብቦ እርምጃ ለመውሰድ ፈቃደኛ ባለበት ነበር። ጥቅም ላይ የዋለው የተወሰነ የመሠረት ሞዴል መመሪያው በሥራ ላይ ስለመዋለ ከማዕቀፉ የበለጠ ጉዳይ ነው። አንድ ሞዴል ጥቃትን ፈጽሞ አልሞከረም እና መርፌውን በ 59.7% ሩጫዎች እውቅና ሰጥቷል ፣ ሌሎች ሁለቱ ደግሞ በ23.6% ሩጫዎች ላይ ጥቃት ለመሰንዘር ሞክረዋል።

ተመራማሪዎቹ ቤንችማርክን ወደ ኦዲዮ አራዝመዋል፣ በአሁኑ የድንበር ሞዴሎች ተቀባይነት ያለው ብቸኛው ጥሬ የማስተዋል ሰርጥ። ከአምስቱ ሞዴሎች ውስጥ ሁለቱ ብቻ ኦዲዮን የገቡ ሲሆን ከስድስቱ ማዕቀፎች ውስጥ ሦስቱ ብቻ ነው ያደረሱት። ነገር ግን ምልክቱ በደረሰበት ቦታ ጥቃቱ በ 49% ሴሎች ውስጥ ተጠናቅቋል, ለአንድ የተወሰነ ሞዴል ወደ 75% ከፍ ብሏል. ይህ የሚያመለክተው ምስላዊ ቻናሎች በአመክንዮ እቅድ ከፍተኛ ጥበቃ ሲደረግላቸው የኦዲዮ ቻናሎች ጠባብ ናቸው ነገር ግን በጣም ያነሰ መከላከያ በመሆናቸው ለተንኮል አዘል መመሪያዎች ከፍተኛ የስኬት ደረጃዎችን እንደሚያመጣ ያሳያል።

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

ይህ ጥናት እውነተኛ ፋይሎችን እና አገልግሎቶችን ማግኘት የሚችሉት ኤጀንሲያዊ AI ሲስተሞች፣ ጽሑፋዊ ባልሆኑ ቻናሎች ለተዘዋዋሪ ፈጣን መርፌ ተጋላጭ እንደሆኑ የሚያሳዩ ተጨባጭ፣ ሊባዙ የሚችሉ መረጃዎችን ያቀርባል። ግኝቶቹ ወሳኝ የሆነ የደህንነት ክፍተትን አጉልተው ያሳያሉ፡ የእይታ መርፌዎች ብዙ ጊዜ በሞዴል ምክንያት ሲገለሉ፣ የኦዲዮ ቻናሎች ብዙም መከላከል ስለማይችሉ ወደ ስኬታማ የተንኮል አዘል መሳሪያ ጥሪዎች ሊመሩ ይችላሉ። ይህ ጠንካራ የግብአት ንፅህና እና የባለብዙ ሞዳል ደህንነት ስልጠናን በወኪል ማሰማራት ላይ አስፈላጊ መሆኑን አጽንዖት ይሰጣል።

ጥናቱ እንደሚያሳየው የጥቃት ማጠናቀቂያ መጠንን ብቻ ሪፖርት ማድረግ የወኪል AI ስርዓቶችን ትክክለኛ የደህንነት ተጋላጭነት አሳንሶ ያሳያል። ከተጠናቀቁት (1%) ጋር ሲነፃፀር ከፍተኛው የጥቃት ሙከራ (12.8%) የአሁኑ ሞዴሎች ብዙውን ጊዜ ተንኮል-አዘል ዓላማን እንደሚገነዘቡ ይጠቁማል ነገር ግን ይህ መከላከያ በሁሉም ሞዴሎች ወይም ዘዴዎች አንድ ወጥ አይደለም።

በድምጽ ላይ የተመሰረቱ ጥቃቶች በሚደገፉ አካባቢዎች 49% የማጠናቀቂያ መጠን እንዳላቸው የተገኘው ግኝት በተለይ ትኩረት የሚስብ ነው ምክንያቱም ኦዲዮ ለብዙ ወኪል ማሰማራቶች ብዙም ያልተለመደ የግቤት ቻናል ስለሆነ ይህ ማለት አነስተኛ የደህንነት ምርመራ ሊደረግለት ይችላል። ይህ አጥቂዎች የኦዲዮ ግብዓቶችን ተጠቅመው ጎጂ የመሳሪያ ጥሪዎችን እንዲፈጽሙ ለማድረግ የእይታ መከላከያዎችን ማለፍ የሚችሉበት ዕውር ቦታን ይፈጥራል።

በሞዴሎች መካከል ያለው ልዩነት፣ አንድ ሞዴል ወደ 60% በሚጠጉ ሩጫዎች ውስጥ መርፌን የሚያውቅ እና ሌሎች ከ 20% በላይ ለማጥቃት የሚሞክሩ ፣ የሞዴል ምርጫ ለኤጀንሲው AI ደህንነት ወሳኝ ነገር መሆኑን ያጎላል። ድርጅቶች በማዕቀፍ ደረጃ ጥበቃዎች ላይ ብቻ መተማመን አይችሉም እና የተወሰኑ የመሠረት ሞዴሎችን ልዩ የደህንነት ባህሪያት ግምት ውስጥ ማስገባት አለባቸው.

ቀጥሎ ምን እንደሚታይ

ወኪል AIን የሚያሰማሩ ገንቢዎች እና ኢንተርፕራይዞች ስለ MMPIBench እና ተዛማጅ የደህንነት መጠገኛ ማሻሻያዎችን መከታተል አለባቸው። ኢንዱስትሪው ለእነዚህ ግኝቶች ምላሽ ለመስጠት በድምጽ ግብአት ንጽህና እና ለመሳሪያ ጥሪዎች ጥብቅ ፍቃድ ላይ ተጨማሪ ትኩረት ሊመለከት ይችላል።

ተጨማሪ የግንዛቤ ቻናሎችን ወይም የበለጠ የተራቀቁ የጥቃት ቬክተሮችን ሊፈትኑ የሚችሉ የMMPIBench እና ቀጣይ ምርምርን ይከታተሉ። የቤንችማርክ ዳግም መባዛት ቀጣይነት ያለው የማህበረሰብ ማረጋገጫ እና መስፋፋትን ይፈቅዳል።

በድምጽ እና በምስል ቻናሎች ውስጥ ተለይተው የሚታወቁትን ልዩ ተጋላጭነቶችን ለመፍታት የደህንነት ጥገናዎችን ወይም የተዘመኑ የደህንነት ስልጠናዎችን ሊለቁ ከሚችሉ ዋና ዋና የ AI ማዕቀፍ ገንቢዎች እና የመሠረት ሞዴል አቅራቢዎች የኢንዱስትሪ ምላሾችን ይመልከቱ።

ኤጀንቲክ AIን የሚያሰማሩ ኢንተርፕራይዞች የደህንነት ፕሮቶኮሎቻቸውን እንዴት እንደሚያስተካክሉ፣ ጽሑፋዊ ላልሆኑ መረጃዎች ጥብቅ የግብአት ማጣሪያን ሊተገበሩ እንደሚችሉ እና በጥናቱ የተገለጹትን አደጋዎች ለመቀነስ ለመሳሪያ ጥሪዎች ተጨማሪ የፈቃድ ቁጥጥሮችን ይመልከቱ።

ተዛማጅ መመሪያዎች እና ጥያቄዎች