የ 53 AI ሞዴሎች ቤንችማርክ አንድም ስርዓት ማንኛውንም ጎጂ-ይዘት አደጋ አያገኝም

ምን ተፈጠረ

ተመራማሪዎች በአራት የደህንነት ምድቦች የተደራጁ በ11 የውሂብ ስብስቦች ውስጥ 53 ትላልቅ የቋንቋ ሞዴሎችን ገምግመዋል። አጠቃላይ ዓላማ እና ልዩ ስርዓቶች የተለያዩ ጎጂ ይዘቶችን እንዴት በጥሩ ሁኔታ እንደያዙ በመመርመር በሁለቱም ፈጣን-ብቻ ቅንብሮች እና ፈጣን ምላሽ መቼቶች ውስጥ ሞዴሎችን ሞክረዋል።

“ማንም ሞዴል ማንኛውንም ጉዳት የሚይዝ የለም፡ ከደህንነት ሁኔታዎች ባሻገር የይዘት ልከኝነት” በሚል ርዕስ ለarXiv ነሐሴ 22 ቀን 2026 ቀርቧል። ደራሲዎቹ በ11 የውሂብ ስብስቦች ውስጥ የ53 ሞዴሎችን ስልታዊ ግምገማ ይገልጻሉ፣ እነሱም በአራት የተለያዩ የደህንነት ምድቦች ያደራጃሉ። ምንጩ ስራውን እንደ አዲስ ሞዴል ወይም ልከኛ ምርት ከመጀመር ይልቅ የቋንቋ-ሞዴል የደህንነት አቅምን መገምገም አድርጎ ያቀርባል።

ግምገማው ሁለት መቼቶችን ይጠቀማል ፈጣን-ብቻ ሙከራዎች እና ፈጣን ምላሽ ሙከራዎች። ምንጩ በእነዚህ መቼቶች መካከል ያለውን የአሠራር ልዩነት በዝርዝር አላብራራም፣ ነገር ግን ልዩነቱ እንደሚያመለክተው ጥናቱ ሁለቱንም የሞዴል ባህሪ ከደህንነት ጋር በተያያዙ ጥያቄዎች ምላሽ እና ፈጣን እና የመነጨ ምላሽ አንድ ላይ ሲታሰብ የልከኝነት ወይም የፍርድ ጥራትን እንደሚመረምር ያሳያል። የአብስትራክት ፍሬሞች የተፈተኑትን አደጋዎች በስፋት ያስቀምጣቸዋል፣የደህንነት ማጣሪያዎችን የሚያልፉ ተቃራኒ የእስር ቤቶችን በመጥቀስ እና ከማወቅ ሊያመልጥ የሚችል ስውር ጥላቻ።

ደራሲዎቹ ሦስት ዋና ዋና ውጤቶችን ሪፖርት አድርገዋል. በመጀመሪያ ደረጃ፣ በአንድ ምድብ ውስጥ የሚመሩ ትላልቅ የድንበር ሞዴሎች ከሌሎች ትናንሽ ልዩ አማራጮች በስተጀርባ በእጅጉ ሊወድቁ ይችላሉ። ሁለተኛ፣ ምንም ነጠላ ሞዴል ሁሉንም አይነት ጎጂ ይዘት በቋሚነት አይይዝም። ሦስተኛ፣ ደራሲዎቹ የገሃዱ ዓለም የውይይት ደኅንነት በአብነት ቤተሰቦች ውስጥ በአብዛኛው መፍትሔ አላገኘም ይላሉ። ማጠቃለያው ግምገማውን እስከዛሬ ድረስ በጣም ሰፋ ያለ ነው ብሎ ይጠራዋል፣ ነገር ግን ይህ ባህሪ የጸሐፊዎቹ የይገባኛል ጥያቄ ነው። ምንጩ ከቀረበው ጽሑፍ በተናጥል ለማረጋገጥ ከእያንዳንዱ የቀድሞ ቤንችማርክ ወይም በቂ ዘዴያዊ ዝርዝር ጋር ንፅፅር አይሰጥም።

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

ወረቀቱ ትላልቅ ወይም የበለጠ አቅም ያላቸው የድንበር ሞዴሎች በራስ-ሰር በጣም አስተማማኝ ምርጫ ናቸው የሚለውን ግምት ይሞግታል። ዋናው ግኝቱ በአንድ ምድብ ውስጥ የሚመራ ሞዴል ከትንንሽ፣ ልዩ አማራጮች በሌላኛው እጅግ የከፋ አፈጻጸም ሊኖረው ይችላል፣ ይህም የደህንነት ስምሪትን የሞዴል-ምርጫ እና የስርዓት-ንድፍ ችግር ያደርገዋል።

ተግባራዊ አንድምታው ደህንነት በአንድ ፈተና ውስጥ ከአምሳያው አጠቃላይ ዝና፣ መጠን ወይም አፈጻጸም መገመት አይቻልም። የአማካኝ ንብርብርን የሚመርጥ ድርጅት ስርአቶችን ከተወሰኑ አደጋዎች ጋር ማዛመድ፣ በርካታ ልዩ ክፍሎችን መጠቀም ወይም የሰው ግምገማ እና ሌሎች መቆጣጠሪያዎችን ማከል ሊያስፈልገው ይችላል። የወረቀቱ ሪፖርት በምድቦች መካከል ያለው ልዩነት ማለት አንድ የርዕስ ነጥብ ነጥብ በተለይ ጎጂ የሆኑ ይዘቶችን ጠቃሚ ውድቀቶችን ሊደብቅ ይችላል።

ግኝቶቹ የ AI ደህንነት ግምገማዎች እንዴት እንደሚተረጎሙም አስፈላጊ ናቸው። አፋጣኝ-ብቻ እና አፋጣኝ ምላሽ መቼቶች የተለያዩ ውጤቶችን ካመጡ፣ በጠባብ ፈጣን ሙከራ አስተማማኝ የሚመስለው ሞዴል ትክክለኛ የመነጨ መልስ መገምገም ሲገባው የተለየ ባህሪ ሊኖረው ይችላል። ምንጩ ውጤቱን አይሰጥም ወይም ትክክለኛውን የፈተና ግንባታ አይገልጽም, ስለዚህ እነዚህ ልዩነቶች ምን ያህል ትልቅ እንደነበሩ ለመወሰን አይቻልም. አሁንም፣ የጥናቱ ንድፍ የግምገማ አውድ አንድ የፍተሻ ፎርማት ሁሉንም የማሰማራት ሁኔታዎችን ይወክላል ብሎ ከመገመት ይልቅ እንደ አስፈላጊነቱ ይመለከታል።

ለሕዝብ፣ የቋንቋ ሞዴሎች ይዘትን በሚያመነጩ፣ በማጣራት ወይም ደረጃ በሚሰጡ ሥርዓቶች ውስጥ ጥቅም ላይ ስለሚውሉ ጉዳዩ መዘዝ ነው። ስውር ጥላቻን፣ የተሳካ እስራትን ወይም ደህንነቱ ያልተጠበቀ የውይይት ምላሽ ማግኘት አለመቻል ስርዓቱ በሌሎች የደህንነት ምድቦች ላይ ጥሩ ስራ ሲሰራም ተጠቃሚዎችን ሊጎዳ ይችላል። ወረቀቱ አንድ የተወሰነ የገሃድ ዓለም ክስተትን አይመዘግብም ወይም በተጠቃሚዎች ላይ የሚደርሰውን ጉዳት አይለካም እና ማንኛውም የተገመገመ ሞዴል በእያንዳንዱ ማሰማራቱ ላይ ደህንነቱ ያልተጠበቀ መሆኑን አያረጋግጥም። የእሱ አስተዋፅኦ በምትኩ የቤንችማርክ አመራርን እንደ አጠቃላይ ጥበቃ ማስረጃ አድርጎ ከመመልከት ማስጠንቀቂያ ነው።

ቀጥሎ ምን እንደሚታይ

ምንጩ የግምገማ ቁሳቁሶችን የግለሰብ ሞዴሎችን፣ የውሂብ ስብስቦችን፣ የምድብ ፍቺዎችን፣ ነጥቦችን፣ ጥያቄዎችን ወይም የመልቀቂያ ሁኔታን አይለይም። የክትትል ስራ የተዘገበው ክፍተቶች በቋንቋዎች፣ በአዲሶቹ ሞዴሎች፣ የቀጥታ ልከኝነት የስራ ጫናዎች እና ከቤንችማርክ ሁኔታዎች ውጭ ባሉ የጠላት ግንኙነቶች ላይ መቆየታቸውን ማረጋገጥ አለበት።

ቀጣዩ አስፈላጊ ማስረጃ የወረቀቱ ሙሉ ግምገማ ዝርዝሮች ይሆናል. የቀረበው የarXiv ገጽ የአምሳያው ብዛት፣ የውሂብ ስብስብ ብዛት፣ ባለአራት ምድብ መዋቅር እና ሁለት የሙከራ ቅንብሮችን ይሰጣል፣ ነገር ግን የሞዴሎቹን ወይም የውሂብ ስብስቦችን ስም፣ የምድቦቹን ትርጓሜ፣ ጥያቄዎቹን፣ የውጤት አሰጣጥ ደንቦችን ወይም የተዘገበው የአፈጻጸም ክፍተቶች መጠን አይደለም። እነዚያ ዝርዝሮች ከሌሉ አንባቢዎች ንጽጽሩ በብዛት የሚተገበሩትን ስርዓቶች የሚሸፍን መሆኑን ወይም የውሂብ ስብስቦች የአሁኑን አጠቃቀም የሚወክሉ መሆናቸውን መገምገም አይችሉም። ስለዚህ ምንጩ የግምገማውን ወሰን ያስቀምጣል, ነገር ግን ከስር ያለውን የንጽጽር ቁሳቁሶችን ይተዋል. ውጤቱን በሚያነቡበት ጊዜ ያ ወሰን አስፈላጊ ነው፡ የተዘገበው መደምደሚያ የተሞከሩትን ሁኔታዎች እና መቼቶች ይገልፃል፣ የቀረበው ጽሁፍ ደግሞ ሞዴሎቹ በውስጣቸው እንዴት እንደሰሩ የሚገልጽ ሰፋ ያለ ዘገባን አይደግፍም።

ማባዛትም አስፈላጊ ይሆናል. ወረቀቱ ቅድመ ህትመት ነው፣ እና የምንጭ ጽሑፉ EMNLP 2026 ዋና ትራክ በሜታዳታው ውስጥ ከመዘርዘር ባለፈ ገለልተኛ ማረጋገጫን፣ የተለቀቀ ኮድን፣ የተለቀቀውን የሙከራ መረጃን ወይም ውጤቶችን አይገልጽም። ተመራማሪዎች መደምደሚያዎቹን በአዲሶቹ ሞዴል ስሪቶች፣ በተለያዩ ቋንቋዎች፣ የመልቲሞዳል ግብአቶች እና ንግግሮች ላይ በበርካታ ተራ ተራሮች ላይ መሞከር አለባቸው። በተጨማሪም መዘግየት፣ ወጪ፣ የውሸት አወንታዊ እና የውሸት አሉታዊ ነገሮች አንድ ላይ ሲለኩ የልዩ ሞዴሎች ጥቅሞች መያዛቸውን መመርመር አለባቸው።

አሰማሪዎች የአምሳያ ደረጃዎችን ብቻ ሳይሆን የስርዓተ-ደረጃ ጥምረቶችን በተመለከተ ማስረጃዎችን መመልከት አለባቸው። ጠቃሚ ክትትል አንድ ነጠላ አጠቃላይ ዓላማ ሞዴል ከልዩ አወያዮች ድብልቅ ፣የእድገት ህጎች እና የሰው ግምገማ በተጨባጭ የስራ ጫና ውስጥ ያወዳድራል። ምንጩ የስብስብ ወይም የሰው-በ-ሉፕ ዲዛይኖች እንደተገመገሙ አይናገርም፣ ስለዚህ ውጤታማነታቸው የማይታወቅ ነው። እንዲሁም ተጠቃሚዎች ከማጣሪያዎች ጋር የሚላመዱ እና ጎጂ ይዘት በጊዜ ሂደት በሚለዋወጡበት የቀጥታ ማህበረሰቦች ውስጥ ባህሪን ምን ያህል የቤንችማርክ አፈጻጸም እንደሚተነብይ ግልጽ አይደለም። እነዚያ ያልታወቁ ነገሮች ሪፖርት የተደረገው ውጤት የምርት ውሳኔዎችን እንዴት እንደሚመራ ይገድባል፣ ነገር ግን የወረቀቱን ዋና ጥንቃቄ ያጠናክራሉ፡ የደህንነት ጥያቄዎች እየተሞከረ ስላለው ሁኔታ የተለየ መሆን አለባቸው።

ተዛማጅ መመሪያዎች እና ጥያቄዎች