QUASA ድርብ ዓይነ ስውር AI ሙከራዎች የቤንችማርክ ትክክለኛነትን ለምን እንደማያረጋግጡ ያብራራል።

ምን ተፈጠረ

QUASA እንደዘገበው እ.ኤ.አ. ነሐሴ 2026 የፅንሰ-ሃሳብ ማረጋገጫ የተያዘው የMLCommons AILuminate ደህንነት መጠየቂያዎች ፣ OpenMined የተጠበቀ ስሌት እና በኮንቴይነር Google DeepMind ሞዴል ተጠቅሟል። ዝግጅቱ ሞዴል ገንቢውን የግምገማ ጥያቄዎችን እንዳያይ እና ቤንችማርክ አቅራቢው እና ኦዲተሩ የባለቤትነት ሞዴል ክብደቶችን እንዳያዩ ከልክሏል። QUASA ዲዛይኑ አንዳንድ የብክለት እና የአእምሯዊ-ንብረት ስጋቶችን እንደሚቀንስ ተናግሯል፣ነገር ግን ቀደም ብሎ ለቤንችማርክ ቁስ መጋለጥን አያስቀርም ወይም ፈተናው ትክክለኛ መሆኑን ያረጋግጣል።

QUASA እንደዘገበው የግምገማ ጥያቄዎች፣ መልሶች ወይም የቅርብ ልዩነቶች ወደ ቅድመ ስልጠና፣ ጥሩ ማስተካከያ ውሂብ ወይም ተደጋጋሚ ማመቻቸት ሲገቡ የቤንችማርክ ብክለት ሊፈጠር ይችላል። ማሰራጫው ትክክለኛ ማባዛት አስፈላጊ አይደለም ይላል፡ ከፊል መልሶች፣ ልዩ ፅንሰ-ሀሳቦች እና ተዛማጅ ምሳሌዎች የተለመዱ ተግባራትን ቀላል ያደርጉ ይሆናል።

እንደ QUASA፣ የDeepMind–MLCommons ፓይለት የተጠበቀውን MLCommons AIluminate የደህንነት መጠየቂያዎችን በOpenMined የተጠበቀ ስሌት እና በኮንቴይነር በGoogle DeepMind Gemini Flash Lite ሞዴል ለማስኬድ AVERI ተጠቀመ። የአምሳያው ባለቤት የተያዙትን ጥያቄዎች መመርመር አልቻለም፣ MLCommons እና AVERI የባለቤትነት ክብደትን መመርመር አልቻሉም። እነዚህ ዝርዝሮች በQUASA ሪፖርት የተደረጉት ከተጠቀሰው የትግበራ መለያ ነው እና እዚህ በግል የተረጋገጡ አይደሉም።

መውጫው የማስፈጸሚያ ታማኝነትን ከግንባታ ትክክለኛነት ይለያል። የመጀመሪያው የታሰበው የማይታዩ ዕቃዎች እና የታወጀው ስርዓት ቁጥጥር በሚደረግባቸው ሁኔታዎች ውስጥ ጥቅም ላይ መዋሉን ይመለከታል። ሁለተኛው ተግባራቶቹ እና መለኪያዎች ከውጤቱ ጋር የተያያዘውን የችሎታ፣ ደህንነት ወይም አስተማማኝነት የይገባኛል ጥያቄን ይደግፋሉ ወይ የሚለውን ይመለከታል።

QUASA ፈጣን መፍሰስ፣ ሞዴል-ክብደት መጋለጥ፣ የግምገማ መዳረሻ እና የወደፊት የሥልጠና ብክለትን እንደ የተለየ ሥጋት ይለያል። እንደ የመዳረሻ መዝገቦች፣ የማቆያ ገደቦች፣ የውጤት ገደቦች፣ የአደጋ ሂደቶች እና የተጋለጡ ዕቃዎችን ለጡረታ የመውጣት ህጎች ያሉ ቁጥጥሮች ምስጢራዊ ጥበቃዎችን ማሟላት አለባቸው ይላል።

የምንጭ ዝርዝሮች: quasa.io ↗

ለምን አስፈላጊ ነው።

የ AI ቤንችማርክ ውጤቶች በግዢ፣ በደህንነት የይገባኛል ጥያቄዎች እና በስርዓቶች መካከል ንፅፅር ላይ ተጽዕኖ ያሳድራሉ። የQUASA ሪፖርት ሚስጥራዊነት የሚመለከተው አንድ የግምገማ ትክክለኛነት አንድ ክፍል ብቻ መሆኑን ያጎላል፡ የተጠበቁ መጠይቆችን እና በሩጫ ጊዜ ክብደቶችን ያለ ልዩነት። ማመሳከሪያው የማይወክል፣ ጥሩ ውጤት ያላስገኘ ወይም ለወደፊት ብክለት የተጋለጠ ሊሆን ይችላል ምንም እንኳን ሁለቱም ወገኖች የሌላውን ሚስጥራዊ ነገር ባያዩም። ያ የማይታየውን የንጥል መገኘትን፣ የውቅረትን ይፋ ማድረግ፣ እርግጠኛ ያልሆኑ ግምቶች እና የውድቀት ትንተና በ AI የፈተና ውጤቶች ላይ ለሚተማመን ለማንኛውም ሰው አስፈላጊ ያደርገዋል።

ሚስጥራዊ ግምገማ ለሞዴል ገንቢ በተጠበቁ ጥያቄዎች ላይ በቀጥታ ለማመቻቸት አስቸጋሪ ያደርገዋል፣ እንዲሁም የባለቤትነት ክብደትን ይፋ ማድረግን ይገድባል። ያ የፈተና ሁኔታዎችን በተመለከተ ጠቃሚ ማስረጃ ነው፣ ነገር ግን ሞዴሉ ደህንነቱ የተጠበቀ፣ አስተማማኝ ወይም በአጠቃላይ አቅም እንዳለው ከማስረጃው ያነሰ ነው።

QUASA የ445 LLM መመዘኛዎችን የNeurIPS ግምገማን እንደ የክስተቶች፣ ተግባራት እና የውጤት መለኪያዎችን የቤንችማርክ ይገባኛል ጥያቄዎችን ለመደገፍ ተደጋጋሚ ድክመቶችን ለማግኘት ይጠቅሳል። ምንጩ የግምገማውን ደራሲዎች፣ ሙሉ ስልት ወይም የአብራሪውን ውጤት ገለልተኛ ግምገማ አይሰጥም፣ ስለዚህ እነዚያ ዝርዝሮች በዚህ ግምገማ ውስጥ ያልተረጋገጡ ይቆያሉ።

ተግባራዊ አንድምታው ድርጅቶች ድርብ ዓይነ ስውር ነጥብን እንደ ሁኔታዊ ማስረጃ አድርገው መያዝ አለባቸው። ውጤቱን በስምሪት ወይም በግዢ ውሳኔ ላይ ከመጠቀማቸው በፊት የሞዴል ሥሪት፣ ውቅረት፣ የስርዓት መጠየቂያ፣ መሣሪያዎች፣ የናሙና መቼቶች፣ የአሂድ ጊዜ አካባቢ፣ የናሙና መጠን፣ እርግጠኛ ያልሆኑ ግምቶች እና የምድብ-ደረጃ ውድቀቶች ያስፈልጋቸዋል።

ቀጥሎ ምን እንደሚታይ

ወደፊት የሚደረጉ ግምገማዎች የተያዙ ዕቃዎች እንዴት እንደተጠበቁ፣ ቀድሞ ተጋላጭነት እንዴት እንደተመረመረ እና ከተፈተነ በኋላ ምን እንደሚፈጠር፣ ውጤቶቹ፣ ምዝግብ ማስታወሻዎች እና የተገኘ ውሂብ መዝግበው እንደሆነ ይመልከቱ። የግዥ ቡድኖች የተሞከረው የሞዴል ውቅር እየተሰማራ ካለው ጋር ይዛመዳል ወይም መለኪያው የታሰበውን ጥቅም ላይ የሚውሉትን ልዩ አደጋዎች የሚያንፀባርቅ መሆኑን መጠየቅ አለባቸው። QUASA በገለልተኛ ሙከራ ሪፖርት የተደረገው ፓይለት የገሃዱ ዓለም ትክክለኛነትን እንዳሻሻለ ወይም ቁጥጥሮቹ እያንዳንዱን የፍሳሽ መንገድ እንደሚከላከሉ አላረጋገጠም።

የወደፊት ሪፖርቶች ከሩጫ በፊት፣ ጊዜ እና በኋላ ማን ጥያቄዎችን፣ ክብደቶችን፣ ምላሾችን፣ የውጤት አሰጣጥ ደንቦችን፣ የምዝግብ ማስታወሻዎችን እና የማረጋገጫ ማስረጃዎችን ማግኘት እንደሚችል ማብራራት አለባቸው።

የቤንችማርክ ጠባቂዎች እቃዎች እንዴት እንደተያዙ፣ እንዴት አስቀድሞ ተጋላጭነት እንደሚመረመር፣ የተበላሹ ጥያቄዎች እንዴት እንደሚተኩ እና የቤንችማርክ ስሪቶች እንዴት እንደሚታደሱ ማብራራት አለባቸው።

ድርጅቶች የተሞከረውን ውቅር በትክክል ከተዘረጋው ስርዓት ጋር በማነፃፀር ተግባራቶቹ ጎራያቸውን የሚወክሉ መሆናቸውን ማረጋገጥ አለባቸው፣ ይህም አልፎ አልፎ ግን መዘዝ የሚያስከትሉ ውድቀቶችን ጨምሮ።

QUASA ለፓይለቱ ዋጋን፣ የህዝብ መገኘትን፣ የመዳረሻ ሂደትን ወይም የተለካ የአፈጻጸም ማሻሻያ ሪፖርት አያደርግም። እንዲሁም የተገለጹት መቆጣጠሪያዎች ሁሉንም ፍሳሽ ወይም የታችኛው የሥልጠና ብክለትን እንደሚከላከሉ በተናጥል አያረጋግጥም።

ተዛማጅ መመሪያዎች እና ጥያቄዎች