ጥናት እንደሚያሳየው LLM የጥላቻ-ንግግር ማጣሪያ በኡርዱ ስክሪፕቶች ብዙም ወጥነት የለውም

ምን ተፈጠረ

የarXiv ቅድመ ህትመት GPT-4o፣ Claude Sonnet 4.5፣ Gemini 2.5 Flash፣ Qwen-2.5 እና Llama-3.1 ናስታሊቅ፣ እንግሊዝኛ ኡርዱ፣ ሮማን-ኤርዱግሊሽ ናስታሊቅ፣ እንግሊዝኛ እና ሮማን-ኤርዱግሊሽ ኮድ በሚሸፍኑ ስድስት የውሂብ ስብስቦች ላይ ተፈትኗል። በኡርዱ-ስክሪፕት ይዘት እና በእንግሊዝኛ ትርጉሞች መካከል ምደባዎች እንደተቀየሩ ደራሲዎቹ ሪፖርት አድርገዋል፣ አንዳንድ ጎጂ ይዘቶች በኡርዱ ውስጥ እንደተለመደው አልፈዋል። ወረቀቱ በተጨማሪም በALW/WOAH ሂደቶች ዘጠኝ እትሞች ውስጥ በ205 ወረቀቶች ላይ ምንም አይነት የተለየ የኡርዱ ወረቀት አለማግኘቱን ዘግቧል።

እ.ኤ.አ. ኦገስት 25፣ 2026 ለarXiv የቀረበው ወረቀቱ ትልልቅ የቋንቋ ሞዴሎች የጥላቻ ንግግርን በኡርዱ ስክሪፕት ቅጾች ላይ በቋሚነት ይመድቡ እንደሆነ ያጠናል። ሙከራው አምስት ሞዴሎችን ይሸፍናል-GPT-4o፣ Claude Sonnet 4.5፣ Gemini 2.5 Flash፣ Qwen-2.5 እና Llama-3.1—እና ናስታሊቅ ኡርዱ፣ ሮማን-ኤርዱግሊዱ፣ እንግሊዘኛ እና ናስታሊቅ ኡርዱዊች የሚሸፍኑ የውሂብ ስብስቦች። ምንጩ ስራውን እንደ የምርት ማስጀመሪያ ወይም የአንድ የተወሰነ የመሳሪያ ስርዓት ክስተት ሪፖርት ከማድረግ ይልቅ የስክሪፕት-ስክሪፕት ደህንነት አለመመጣጠን ምርመራ አድርጎ ያቀርባል።

ደራሲዎቹ በዋናው ስክሪፕት ውስጥ ያሉትን የይዘት ምደባዎች ከእንግሊዝኛ ትርጉሞች ምደባ ጋር ያወዳድራሉ። ከ15.9% ለGemini 2.5 ፍላሽ እስከ 31.6% ለQwen-2.5 ያለውን የአምስቱ የኡርዱ-ስክሪፕት ዳታሴቶች መለያ አለመረጋጋት ሪፖርት ያደርጋሉ። በወረቀቱ የቃላት አገባብ ውስጥ፣ “የናፈቀ-በኡርዱ” ጉዳይ በእንግሊዝኛ ትርጉም ጎጂ ተብሎ የተጠቆመ ነገር ግን በዋናው የኡርዱ ስክሪፕት እንደ መደበኛ የተመደበ ይዘት ነው።

ሪፖርት የተደረገው ያመለጡ ኡርዱ ተመኖች ከ2.4% እስከ 9.9%፣ በአምሳያዎቹ ውስጥ አማካይ 4.3% ነው። አጭር መግለጫው ትናንሽ ክፍት ክብደት ያላቸው ሞዴሎች በፈተናው ውስጥ ከተካተቱት ድንበር የተዘጉ ሞዴሎች በጣም ከፍተኛ አለመረጋጋት እና ያመለጠ የጉዳት መጠን አሳይተዋል ይላል። እነዚህ ደራሲዎች ሪፖርት የተደረጉ ውጤቶች ናቸው; የቀረበው ምንጭ መሰረታዊ ምሳሌዎችን፣ በየውሂብ ስብስብ ብልሽቶች፣ የመተማመን ክፍተቶች ወይም ስታቲስቲካዊ ሙከራዎችን አያቀርብም።

ወረቀቱ በኡርዱ ደህንነት ግምገማ ዙሪያ ያለውን የምርምር መዝገብም ይመረምራል። በማጠቃለያው መሰረት፣ ደራሲዎቹ ACL አንቶሎጂ ኤፒአይን ተጠቅመው 205 ወረቀቶችን በዘጠኙ ALW/WOAH እትሞች ለመዘርዘር እና በዚያ ጊዜ ውስጥ ዜሮ የሆኑ የኡርዱ ወረቀቶችን አግኝተዋል። ምንጩ በዚያ ቆጠራ ውስጥ ያሉትን ሁሉንም የማካተት መስፈርቶች አይለይም ወይም ተዛማጅነት ያላቸው ስራዎች በሌሎች ቦታዎች፣ ስያሜዎች ወይም የምርምር ምድቦች ስር ይገኙ እንደሆነ አያብራራም።

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

ጥናቱ እንደሚያመለክተው የይዘት ልከኝነት ስርዓት ኡርዱን በቀጥታ ከሚይዝበት ጊዜ ይልቅ በእንግሊዘኛ ትርጉሞች ሲሞከር ደህንነቱ የተጠበቀ ሆኖ ይታያል። ያ የብዙ ቋንቋ ተናጋሪዎችን ለሚያገለግሉ የመሣሪያ ስርዓቶች እና አገልግሎቶች ተግባራዊ የግምገማ ችግር ይፈጥራል፡ አጠቃላይ የደህንነት ውጤቶች በልዩ ስክሪፕቶች ወይም የቋንቋ አይነቶች ላይ ያተኮሩ ውድቀቶችን ሊደብቁ ይችላሉ። ግኝቶቹ ከአንድ የarXiv ቅድመ-ህትመት የይገባኛል ጥያቄዎች ናቸው እና ከተሞከረው የውሂብ ስብስቦች እና ሞዴሎች ባሻገር የሚለካው ተመኖች ምን ያህል እንደሚበዙ አይገልጹም።

ማዕከላዊው አንድምታው የደህንነት ግምገማ በጽሑፉ ምን ማለት እንደሆነ ብቻ ሳይሆን ቋንቋ እንዴት እንደሚወከል ሊወሰን ይችላል። የአወያይ ሞዴል በዋነኛነት በእንግሊዘኛ ወይም በተተረጎመ ቁሳቁስ ከተሞከረ፣ የሚለካው አፈፃፀሙ ተጠቃሚዎች በኡርዱ ስክሪፕት ሲጽፉ የሚከሰቱ ውድቀቶችን ላያሳይ ይችላል። በቁሳዊ መልኩ የተለያዩ ግብአቶችን ፍትሃዊ ባልሆነ መንገድ ሲያስተናግድ ስርዓቱ አረጋጋጭ ድምር ውጤቶችን ሊያገኝ ይችላል።

ያ አስፈላጊ ነው ምክንያቱም የይዘት ልከኝነት ብዙውን ጊዜ ቁሳቁስ መታገዱን፣ መጨመሩን ወይም መፈቀዱን ለመወሰን ጥቅም ላይ ይውላል። የጠፋው የኡርዱ ስርዓተ ጥለት በአቅጣጫ አስፈላጊ የሆነ ውድቀትን ይገልፃል፡ ፅሁፍ ጎጂ ነው ተብሎ ከትርጉም በኋላ አንዳንድ ጊዜ በዋናው ስክሪፕት እንደተለመደው ከተላለፈ። ጥናቱ በገሃዱ አለም መድረክ ላይ እንደዚህ አይነት ጉዳዮች ምን ያህል ጊዜ እንደሚከሰቱ፣ ምን አይነት የንግግር አይነቶች እንደነበሩ እና ምን አይነት መዘዞች እንደሚከሰቱ አላሳየም ስለዚህ ተግባራዊ ተፅእኖው በቁጥር የተገመተ የጉዳት ግምት ሳይሆን በሰነድ የተደገፈ ግምገማ ተደርጎ መገለጽ አለበት።

ስራው ለደህንነት ቡድኖች የኮንክሪት መለኪያ መዝገበ ቃላት ይሰጣል። አጠቃላይ ትክክለኛነት ወይም ስምምነት በስክሪፕቶች መካከል አለመግባባቶችን ሊደብቅ ይችላል፣ የስክሪፕት አቋራጭ ንፅፅር እና የኡርዱ-ያመለጠ መጠን አንድ የተወሰነ የጎጂ ይዘት ክፍልን ሊያጋልጥ ይችላል። እንደነዚህ ያሉ እርምጃዎች ድርጅቶች የቋንቋ ሽፋንን እንዲመረምሩ ፣ የሞዴል ስሪቶችን እንዲያነፃፅሩ እና በትርጉም ላይ የተመሠረተ ሙከራ በቂ ያልሆነበትን ለመለየት ይረዳሉ። ምንጩ የታቀደው ነጥብ የተሟላ የደህንነት መለኪያ ነው ብሎ አይናገርም።

በክፍት ክብደት እና በተዘጉ ሞዴሎች መካከል ያለው የተዘገበው ክፍተት ድርጅቶቹ እንዴት ባለብዙ ቋንቋ ልከኛ ስርዓቶችን እንደሚመርጡ ወይም እንደሚያሰማሩ ላይ ተጽእኖ ሊያሳድር ይችላል፣ነገር ግን ንፅፅሩ ጥንቃቄን ይፈልጋል። ሞዴሎቹ በስልጠና መረጃ፣ ማስተካከያ፣ የመዳረሻ ሁኔታዎች እና ነባሪ ባህሪ ሊለያዩ ይችላሉ፣ እና አብስትራክቱ የልዩነቱን መንስኤ ለመለየት በቂ ዘዴያዊ ዝርዝሮችን አይሰጥም። ስለዚህ ወረቀቱ የሞዴል እና የስክሪፕት ሽፋንን መመርመርን ይደግፋል እንጂ አንድ የሞዴል ምድብ በአለምአቀፍ ደረጃ ደህንነቱ የተጠበቀ ነው የሚል ድምዳሜ አይደለም።

ቀጥሎ ምን እንደሚታይ

አስፈላጊዎቹ ቀጣይ ጥያቄዎች ውጤቶቹ በአቻ ግምገማ እና መባዛት ይተርፋሉ፣ የመረጃ ቋቶቹ እንዴት እንደተገጣጠሙ እና እንደተሰየሙ፣ እና አሁን ባለው የምርት ስርዓቶች ላይ ተመሳሳይ ስርዓተ-ጥለት ይታይ እንደሆነ የሚሉት ናቸው። ተመራማሪዎች እና አሰማሪዎች ሮማን ኡርዱ፣ ኮድ መቀየር፣ የክልል ልዩነት፣ የትርጉም ጥራት እና የሞዴል ዝመናዎችን ለየብቻ መመርመር አለባቸው። ምንጩ የተዘገበው አለመመጣጠን የሚቀንስ የትኛውን አነሳሽ፣ የልከኝነት ገደቦች፣ የናሙና ሂደቶች ወይም የመቀነስ ዘዴዎችን አላስቀመጠም።

የመጀመሪያው እርግጠኛ አለመሆን ዘዴያዊ ነው. የቀረበው ምንጭ የarXiv v1 ቅድመ-ህትመት ነው፣ ስራው የአቻ ግምገማን ማጠናቀቁን የሚያሳይ ማስረጃ አይደለም። የተዘገበው መቶኛ ምን ያህል ጠንካራ እንደሆነ ለመገመት አንባቢዎች ሙሉውን የወረቀት የውሂብ ስብስብ መጠኖች፣ የመለያ መግለጫዎች፣ ገላጭ ሂደቶች፣ የትርጉም ሂደት፣ መጠየቂያዎች፣ የመግለጫ ቅንጅቶች እና ስታቲስቲካዊ ትንታኔ ያስፈልጋቸዋል።

ማባዛት በተለይ አስፈላጊ ይሆናል. ጥናቱ አምስት የተሰየሙ ሞዴሎችን እና የተወሰኑ የውሂብ ስብስቦችን ይፈትሻል፣ ነገር ግን ረቂቁ ዋጋው ወደ አዲስ ሞዴል ስሪቶች፣ ሌሎች የቁጥጥር ስርዓቶች፣ ተጨማሪ የኡርዱ ዝርያዎች ወይም ተዛማጅ ቋንቋዎች እና ስክሪፕቶች መስፋፋቱን አያረጋግጥም። እንዲሁም ስህተቶቹ በልዩ አርእስቶች፣ የጥላቻ ንግግር ዓይነቶች፣ የፊደል አጻጻፍ ዘይቤዎች ወይም የኮድ መቀየሪያ ደረጃዎች ላይ ያተኮሩ መሆናቸውን አያሳይም።

አሰማሪዎች የእንግሊዝኛ ትርጉምን እንደ በቂ ተኪ ከመመልከት ይልቅ ኦሪጅናል-ስክሪፕት ግብዓቶችን በቀጥታ የሚፈትሹ ግምገማዎችን መመልከት አለባቸው። ጠቃሚ የክትትል ስራ በጊዜ ሂደት ስክሪፕት-ተኮር ውጤቶችን ያነጻጽራል፣ ያመለጡ ጉዳቶችን ጎን ለጎን የውሸት ውጤቶችን ሪፖርት ያደርጋል፣ እና የመቀነሱ ለውጦች አንዱን ቋንቋ ሳያዋርዱ መሻሻላቸውን ይፈትሻል። ምንጩ የተረጋገጠ ጣልቃ ገብነትን አይለይም.

የምርምር ሽፋን ግኝቱም ማረጋገጥን ያረጋግጣል። ደራሲዎቹ በ205 ወረቀቶች ዜሮ የወሰኑ የኡርዱ ወረቀቶችን በዘጠኙ ALW/WOAH እትሞች ላይ ሪፖርት አድርገዋል፣ ነገር ግን አብስትራክቱ ሙሉውን የፍለጋ መዝገብ አያቀርብም ወይም “የተሰጠ ኡርዱ” እንዴት እንደተገለጸ አያብራራም። ወደፊት የሚደረጉ ኦዲቶች እነዚያን መመዘኛዎች ሊባዙ የሚችሉ እና ከሂደቱ ውጭ ያለውን ስራ መመርመር አለባቸው። እስከዚያ ድረስ፣ የወረቀቱ በጣም የተደገፈ መደምደሚያ የኡርዱ ስክሪፕት ሽፋን በኤልኤልኤም የደህንነት ሙከራ ላይ ግልጽ ልኬት ይገባዋል የሚለው ነው።

ተዛማጅ መመሪያዎች እና ጥያቄዎች