BanglaVeilGuard በስድስት የ Bangla ዓይነቶች ላይ የደህንነት ክፍተቶችን ይፈትሻል

ምን ተፈጠረ

በነሀሴ 22 ለarXiv የቀረበው ወረቀት BanglaVeilGuard, Bangla-የመጀመሪያው የደህንነት መለኪያ እና ለትልቅ ቋንቋ ሞዴሎች ቀላል ክብደት ያለው ፈጣን ጠባቂ ያቀርባል. ስድስት የቋንቋ ቅጾችን ይገመግማል፡ መደበኛ Bangla, Romanized Bangla, Banglish, Bangla-English code-mixing, ጫጫታ ያለው Bangla እና ዲያሌክታል Bangla.

ደራሲዎቹ BanglaVeilGuardን እንደ ሁለት የተገናኙ አካላት ያስተዋውቁታል፡ የታመቀ የደህንነት መለኪያ እና ቀላል ክብደት ያለው ፈጣን ጠባቂ። ማመሳከሪያው 2,366 በጥራት የተጣሩ ጥያቄዎችን ይዟል፣ በተያዘው ግምገማ 354 መጠየቂያዎች። መጠየቂያዎቹ ደህንነቱ ያልተጠበቁ ጥያቄዎችን፣ አስተማማኝ ጥያቄዎችን እና ደህንነታቸው የተጠበቁ ጥያቄዎችን ያካሂዳሉ፣ ይህም ስርዓቱ ጎጂ ይዘትን የሚከለክል እንደሆነ ብቻ ሳይሆን ህጋዊ ሚስጥራዊነት ያላቸው መጠይቆችን ማግኘት አለመቻል ላይ እንዲገመገም ያስችለዋል። ምንጩ ስራውን እንደ ስምንት ገፅ ወረቀት በ4ኛው አለም አቀፍ የኮምፒውቲንግ እድገቶች ኮንፈረንስ ተቀብሎ እንደ arXiv ቅድመ ህትመት በኦገስት 22, 2026 ተለጠፈ።

ማመሳከሪያው የተነደፈው ባንጋላ እንዴት እንደሚጻፍ ባለው ልዩነት ላይ ነው። ስድስቱ ቅጾች መደበኛ Bangla፣ Romanized Bangla፣ Banglish፣ code-mixed Bangla-እንግሊዝኛ፣ ጫጫታ ያለው Bangla እና ዲያሌክታል Bangla ናቸው። ያ ንድፍ የደህንነት ምዘና አንድ ደረጃውን የጠበቀ ስክሪፕት ወይም አንድ የፊደል አገባብ ሲወስድ ያልተሟላ ሊሆን እንደሚችል የወረቀቱን ማዕከላዊ የይገባኛል ጥያቄ ያንፀባርቃል። ምንጩ የቋንቋውን ይዘት ጂኦግራፊያዊ ሽፋን፣ ምድቦችን ለመወሰን ጥቅም ላይ የዋለውን ሂደት፣ ወይም መጠየቂያዎቹ እንዴት እንደተመረጡ እና ስብስቡ በጥራት የተጣራ መሆኑን ከመግለጽ ባለፈ እንዴት በጥራት እንደተጣሩ አይገልጽም።

ጠባቂው አጥፊ ያልሆነ የባለብዙ እይታ ኖርማልላይዜሽን፣ፈጣን-አደጋ ክላሲፋየር እና የቅድመ-ትውልድ መግቢያ በር ይጠቀማል። በተግባራዊ አገላለጽ፣ አቀራረቡ ከመውለዱ በፊት የሚመጣውን ጥያቄ ያሳያል እና ጥበቃ እየተደረገለት ያለውን የአምሳያው ክብደት አይለውጠውም። ወረቀቱ ዘዴው በተለያዩ የዒላማ ሞዴሎች ላይ ሊተገበር እንደሚችል ይናገራል. ምንጩ ጠባቂው እንደ ኮድ ይገኝ እንደሆነ፣ ምን ያህል ስሌት ወይም መዘግየት እንደሚጨምር፣ በእያንዳንዱ ሙከራ ውስጥ ምን ገደብ እንደተመረጠ ወይም ተጠቃሚዎች ሆን ብለው ብዙ የአጻጻፍ ቅጾችን ሲያጣምሩ ምን እንደሚመስል አይገልጽም።

በአብስትራክት ውስጥ በተጠቀሱት የዒላማ ሞዴል ቤተሰቦች ሁሉ፣ ደራሲዎቹ እንደዘገቡት የጥበቃ ስራዎች ከ93.8% እስከ 100.0% እስከ 6.3% ባለው ክልል ውስጥ ለClaude Opus 4.8፣ BanglaLLama እና TituLLM በማስመዝገብ የጥቃት ስኬትን ቀንሷል። ለTigerLLM-1B፣ ወረቀቱ ከ BanglaVeilGuard ጋር 78.2% ትክክለኛነት እና 8.8% የጥቃት-የስኬት ፍጥነትን ዘግቧል። የጠባቂው ደህንነቱ ያልተጠበቀ ጥሪ 88.5% ተብሎ ሪፖርት ተደርጓል፣ ይህም ከተገመገመው የፈጣን-ብቻ የጥበቃ መነሻ መስመሮች በላይ። እነዚህ የተዘገቡት የወረቀት ውጤቶች እንጂ ገለልተኛ ማባዛት አይደሉም።

ደራሲዎቹ ወጪንም ለይተው ያውቃሉ፡ ስርዓቱ አንዳንድ አነቃቂ ጥያቄዎችን በተለይም በቋንቋ ወይም ጫጫታ Bangla የተፃፉትን ከልክ በላይ ውድቅ ያደርጋል። ያ ግኝት አስፈላጊ ነው ምክንያቱም የደህንነት ሽፋን ጎጂ ውጤቶችን ሊቀንስ እና ህጋዊ አጠቃቀምን ስለሚከለክል ነው። ምንጩ ይህንን እንደ ኮንክሪት ደኅንነት አጋዥ ድንበር አድርጎ ቀርጿል፣ ነገር ግን ረቂቅ ሐሰተኛ እምቢታ መጠኑን አይለካም ወይም በቋንቋ ቅጽ፣ ሞዴል፣ ፈጣን ዓይነት ወይም ክብደት አይከፋፍለውም።

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

ስራው በደህንነት ሙከራ ላይ ያለውን ተግባራዊ ድክመት ያብራራል፡ መደበኛ-ስክሪፕት Banglaን የሚያስተናግድ ሞዴል ለተመሳሳይ ጥያቄ በቋንቋ ፊደል ሲፃፍ፣ ሲፃፍ፣ በኮድ ሲደባለቅ ወይም በክልል መዝገብ ሲፃፍ በደህና ምላሽ ላይሰጥ ይችላል። የሪፖርት ውጤቶቹ እንደሚያሳዩት የስክሪፕት አቋራጭ ግምገማ እንግሊዝኛን ያማከለ ወይም መደበኛ ስክሪፕት ሙከራዎች ያመለጡ አደጋዎችን ሊያጋልጥ ይችላል።

ሞዴሎች በመደበኛነት ደረጃውን የጠበቀ ፎርም በማይጽፉ ሰዎች ሲጠቀሙ የቋንቋ ልዩነት የደህንነት ጉዳይ ነው። ጎጂ ጥያቄ ወደ ላቲን ፊደላት ሊተረጎም ይችላል፣ ከእንግሊዝኛ ጋር ተቀላቅሎ፣ መደበኛ ባልሆነ አጻጻፍ ሊቀየር ወይም በክልል መዝገብ ሊገለጽ ይችላል። የደህንነት ስርዓት በመደበኛ ስክሪፕት የሥልጠና እና የግምገማ መረጃ ላይ ያሉትን የገጽታ ንድፎችን ብቻ የሚያውቅ ከሆነ፣ ግልጽ የሆነው አፈጻጸሙ በተለመደው የብዙ ቋንቋ አጠቃቀም ላይ ያለውን ባህሪ ላይወክል ይችላል። BanglaVeilGuard ያንን የግምገማ ችግር የጥናቱ ቀጥተኛ ርዕሰ ጉዳይ ያደርገዋል።

ስለዚህ የወረቀቱ አስተዋፅኦ በከፊል ዘዴያዊ ነው. ባንጋላን እንደ አንድ የግቤት ምድብ ከማየት ይልቅ፣ ብዙ ቅጾችን በአንድ ቤንችማርክ መሞከር እና ከአደጋ ምድብ በፊት መደበኛነትን መተግበርን ያቀርባል። ያ ሞዴል ገንቢዎች የእምቢታ ፖሊሲ በስክሪፕት እና በሆሄያት ላይ ለሚደረጉ ለውጦች ጠንካራ መሆኑን እንዲለዩ ያግዛቸዋል። በወረቀቱ ገለፃ ላይ አቀራረቡ በንፅፅር ቀላል ነው-እንደ ቅድመ-ትውልድ በር ሆኖ ይሰራል እና የተጠበቀው ሞዴል ክብደትን ማስተካከል አያስፈልገውም. ሪፖርት የተደረገው ውጤት ጠቅለል ያለ ከሆነ፣ ያ ዲዛይኑ የሚያሰማሩትን እያንዳንዱን ሞዴል መልሰው ማሰልጠን ወይም ማስተካከል ለማይችሉ ድርጅቶች ጠቃሚ ሊሆን ይችላል።

የዘገበው የጥቃት ስኬት መቀነስ በጸሐፊዎቹ ቅንብር ውስጥ ከፍተኛ ነው። ወረቀቱ ሶስት ስማቸው ሞዴል የሆኑ ቤተሰቦች ከ93.8%–100.0% የጥቃት ስኬት ያለ ጠባቂ ወደ 6.3% ተንቀሳቅሰዋል፣TigerLLM-1B ደግሞ ከ78.2% ትክክለኛነት ጋር ዝቅተኛ የተዘገበ የጥቃት-የስኬት መጠን አሳይቷል። ምንጩ በተጨማሪም 88.5% ደህንነቱ ያልተጠበቀ ጥሪን ዘግቧል። እነዚያ ቁጥሮች እንደሚያመለክቱት ጠባቂው በበርካታ የ Bangla መልኮች ላይ ብዙ ደህንነታቸው ያልተጠበቀ መጠየቂያዎችን ሊይዝ ይችላል፣ ነገር ግን ከስር ያሉት ሞዴሎች ደህንነታቸው የተጠበቀ መሆኑን ወይም መከላከያው የሚለምደዉ ጥቃትን እንደሚቋቋም በራሳቸው አያመለክቱም።

ንግዱ በሕዝብ ፊት ለሚታዩ ሥርዓቶች አስፈላጊ ነው። ከመጠን በላይ እምቢ ማለት ተጠቃሚዎችን ጥሩ መረጃ እንዳይደርስ ሊከለክል ይችላል፣ በተለይም ቀበሌኛ ወይም ጫጫታ ያለው ቋንቋ በስህተት እንደ አጠራጣሪ ተደርጎ ሲወሰድ። ያ የእለት ተእለት ፅሑፎቻቸው ደረጃውን የጠበቀ ካስማዎች ጋር የማይዛመድ ሰዎችን በተመጣጣኝ ሁኔታ ሊነካ ይችላል። ምንጩ የዚህን ስህተት ማህበራዊ ስርጭትን አይመሰርትም, ስለዚህ ተግባራዊ ተጽእኖው ክፍት ጥያቄ ነው. ነገር ግን የደህንነት ፍለጋን ማሻሻል እና አጋዥነትን መጠበቅ ከተለየ ግቦች ይልቅ የተገናኙ የምህንድስና ችግሮች መሆናቸውን የሚያሳይ ማስረጃ ይሰጣል።

ስራው የደህንነት ግምገማዎች ሰዎች በትክክል እንዴት እንደሚግባቡ የሚያንፀባርቁ መሆን አለባቸው ለሚለው ሰፊ ጥያቄ ጠቃሚ ነው። ምንጩ ጠባብ መደምደሚያን ይደግፋል፡ ይህ ወረቀት አንድ መለኪያ እና ጥበቃን ያቀርባል, እና ደራሲዎቹ በተገለጹት ግምገማ የተሻሻሉ ውጤቶችን ሪፖርት አድርገዋል. ሁሉም የ Bangla ሞዴሎች ተመሳሳይ ተጋላጭነት እንዳላቸው፣ የስክሪፕት ልዩነት ዋነኛው የደህንነት ውድቀቶች ምንጭ እንደሆነ፣ ወይም ዘዴው ያለ አዲስ መረጃ እና ሙከራ ወደ ሌሎች ቋንቋዎች እንደሚተላለፍ አላረጋገጠም።

ቀጥሎ ምን እንደሚታይ

ዋናው ጥያቄ የተዘገበው ትርፍ ከወረቀቱ የግምገማ ውቅረት በላይ መያዙ ነው። ምንጩ ስለ ሙሉ ዒላማ-ሞዴል አወቃቀሮች፣ የአጥቂ ግንባታ፣ የመነሻ አተገባበር፣ የውጤት አሰጣጥ ሂደት ወይም የገሃዱ ዓለም ስምሪት ዝርዝር መረጃ አይሰጥም፣ እና በአማካኝ ቀበሌኛ እና ጫጫታ የሚያሳዩ ጥያቄዎችን እንደ ያልተፈታ ገደብ ይለያል።

ተጨማሪ ምርመራ በራሱ ቤንችማርክ መጀመር አለበት። ምንጩ አጠቃላይ የጥያቄዎች ብዛት እና የተከታታይ ክፍፍልን ይሰጣል፣ ነገር ግን ደህንነቱ ያልተጠበቀ፣ደህንነት እና ደህንነታቸው የተጠበቁ ምሳሌዎችን በስድስቱ የቋንቋ ቅጾች ማሰራጨት አይደለም። እንዲሁም የእያንዳንዱ የአደጋ ምድብ ምን ያህል መጠየቂያዎች እንዳሉ፣ ጥቃቶች እንዴት እንደተፈጠሩ ወይም የግምገማው ስብስብ ከጠባቂው የእድገት መረጃ ውጪ መፈጠሩን አይገልጽም። እነዚያ ዝርዝሮች የተዘገበው የጥቃት-ስኬት እና የማስታወስ አሃዞች እንዴት በእርግጠኝነት ሊተረጎሙ እንደሚችሉ ላይ ተጽእኖ ይኖራቸዋል።

የግምገማ ፕሮቶኮሉ ሌላ ጠቃሚ የማይታወቅ ነው። ውጤቶቹ ወሳኙ ምላሽ ነጥብን ይጠቀማሉ፣ነገር ግን ምንጩ የውጤት አወሳሰዱን አይገልፅም፣ ምላሾች በራስ-ሰር ወይም በሰዎች የተፈረዱ መሆናቸውን ያብራራል፣ ወይም የድንበር እምቢታዎች እንዴት እንደተስተናገዱ ያሳያል። እንዲሁም የተገመገሙትን ፈጣን-ብቻ የጥበቃ መነሻ መስመሮችን አይገልጽም። ገለልተኛ ሙከራ ጠቃሚ ይሆናል፣በተለይ በዘፈቀደ ናሙናዎች፣ትርጉሞች፣ያልታዩ በቋንቋ ፊደል መጻህፍት፣በግንባታ መረጃ ውስጥ ያልተወከሉ ዘዬዎች እና ጠባቂው ከተለቀቀ በኋላ በተዘጋጁ የተቃዋሚ ጥያቄዎች።

የሞዴል ውጤቶቹ ስለ ሞዴል ​​ደህንነት ከአጠቃላይ የይገባኛል ጥያቄዎች መለየት አለባቸው። የአብስትራክት ስያሜው Claude Opus 4.8፣ BanglaLLama እና TituLLM ነው፣እና ለTigerLLM-1B የተለየ ውጤት ይሰጣል፣ነገር ግን የሞዴል ስሪቶችን፣የመዳረሻ ሁኔታዎችን፣የስርዓት መጠየቂያዎችን፣የመወሰን ቅንጅቶችን ከመወሰን ባለፈ ወይም ትክክለኛውን የተግባር ስርጭት አይሰጥም። ምንጩ የቆይታ ጊዜን፣ የማህደረ ትውስታ አጠቃቀምን፣ የስራ ወጪን ወይም ተገኝነትን አያሳውቅም። እነዚያ ግድፈቶች አቀራረቡ እንዴት በቀላሉ ወደ ምርት ስርዓቶች ሊጣመር እንደሚችል ጥርጣሬን ይፈጥራል።

በጣም ፈጣን ቴክኒካዊ ጉዳይ ከመጠን በላይ እምቢ ማለት ነው. ደራሲዎቹ በተለይ ጥሩ ቀበሌኛ እና ጫጫታ የሚያሳዩ ምልክቶችን እንደ ድክመት ይለያሉ፣ ነገር ግን ምንጩ ስህተቱን አይለካም ወይም የመነሻ ለውጦች ሚዛኑን ማሻሻል ይችሉ እንደሆነ አያሳይም። ወደፊት የሚደረጉ ግምገማዎች የደህንነት ማስታዎሻን እና በቋንቋ ቅፅ በአፋጣኝ መቀበልን ሪፖርት ማድረግ አለባቸው፣ እና መደበኛ ማድረግ በራሱ ትርጉም ያለው የአነጋገር ዘይቤን ይሰርዛል ወይም የጥያቄውን ሀሳብ የሚቀይር መሆን አለመሆኑን ማረጋገጥ አለበት።

በመጨረሻም, የወረቀቱ ሁኔታ እና ወሰን ግልጽ ሆኖ መቆየት አለበት. እ.ኤ.አ. ኦገስት 22 ላይ የገባው arXiv ስሪት ነው እና ገጹ በICCA 2026 ተቀባይነት እንዳገኘ ይናገራል። ምንጩ ምንም ገለልተኛ ማባዛት ወይም የመሰማራት ማስረጃ አይሰጥም። ሪፖርት የተደረጉት ቁጥሮችም እንደ አንድ የምርምር ግምገማ በተሻለ ሁኔታ ተወስደዋል። ቀጥሎ የሚታየው ኮድ ወይም ዳታ መለቀቅ፣ ራሱን የቻለ መራባት፣ ከተለዋዋጭ ጥቃቶች መሞከር እና ሰፋ ያለ የእርዳታ ልኬት በተለያዩ የ Bangla የተለያዩ የጽሁፍ ቅጾች ነው።

ተዛማጅ መመሪያዎች እና ጥያቄዎች