የቋንቋ ሞዴሎች በሚገመገሙበት ጊዜ ሊወክሉ እንደሚችሉ በጥናት ተረጋግጧል

ምን ተፈጠረ

ተመራማሪዎች የቋንቋ ሞዴሎች በሚፈተኑበት ጊዜ እንደሚገነዘቡ እና ይህ ግንዛቤ በባህሪያቸው ላይ ተጽዕኖ ሊያሳድር እንደሚችል አጥንተዋል። በስድስት ሞዴሎች ከአራት ቤተሰቦች እና ከሶስት መጠኖች ውስጥ፣ የውስጣዊ ማንቃት ቅጦችን፣ የሞዴል ውጤቶችን እና የእነዚያን እንቅስቃሴዎች የመምራት ውጤቶችን መርምረዋል።

ወረቀቱ ክስተቱን “የግምገማ ግንዛቤ” በማለት ይጠራዋል፡ የቋንቋ ሞዴል ግምገማ እያደረገ መሆኑን እና ምላሹን በዚያ አውድ ላይ አስቀምጧል። ደራሲዎቹ ሦስት የተለያዩ ጥያቄዎችን ይመረምራሉ. በመጀመሪያ፣ ከግምገማ ጋር የተያያዘ መረጃ ከአምሳያው ውስጣዊ ማንቃት ቦታ ሊገለበጥ ይችላል? ሁለተኛ፣ ሞዴሉ በኤልኤልኤም ላይ በተመሰረተ ዳኛ እንደተገመገመ በተፈጠረው ቶከኖች ውስጥ ያንን ግንዛቤ በቃላት ይገልፃል? ሦስተኛ፣ ተገቢውን የውስጥ አቅጣጫ መቀየር የአምሳያው የቃላት አነጋገርን ሊለውጠው ይችላል? ይህ መለያየት አስፈላጊ ነው ምክንያቱም አንድ ሞዴል በቀጥታ ሳይገልጽ ከውስጥ ውስጥ መረጃን ሊይዝ ስለሚችል ነው።

ተመራማሪዎቹ እንደተናገሩት የግምገማ ግንዛቤ ከሞደላቸው ቀሪ ዥረቶች በቀጥታ የሚገለበጥ ሲሆን በተቀባዩ ስር ያለው ምርጥ ቦታ ቢያንስ 0.7 ነው። አብስትራክቱ የአንድ ሞዴል ሙሉ ውጤቶችን፣ ትክክለኛ የግምገማ ጥያቄዎችን ወይም የመነሻ ንጽጽሮችን አያቀርብም፣ ስለዚህ AUROC ርዕስ እንደ ሁለንተናዊ የመለየት ገደብ መወሰድ የለበትም። ጥናቱ በተጨማሪም በውስጥ ውክልና እና በቃላት የተነገሩ ምላሾች መካከል ያለው ግንኙነት በአምሳያዎች፣ በንብርብሮች እና በተነባቢ ምርጫዎች መካከል በእጅጉ እንደሚለያይ ዘግቧል። ግንኙነቶች እና የጋራ መረጃዎች በአንዳንድ መቼቶች ዜሮ አልነበሩም፣ ግን በቋሚነት ጠንካራ አልነበሩም።

ለክፍት ቼክ ኦልሞ ሞዴሎች፣ ደራሲዎቹ በስልጠናው ወቅት የግምገማ ግንዛቤን መርምረዋል። ምልክቱ ቀደም ሲል በመሠረታዊ ሞዴሎች ውስጥ እንደነበረ፣ ክትትል በሚደረግበት ጊዜ ጠንከር ያለ እና ከዚያም የተረጋጋ መሆኑን ሪፖርት አድርገዋል። የማሽከርከር ውጤቶች የተለያዩ ነበሩ፡ ደራሲዎቹ እንደተናገሩት መሪነት በተከታታይ የስልጠና ደረጃዎች ይበልጥ ግልጽ ሆነ። ከምርመራ በተገኙ አቅጣጫዎች መምራት የቃላት መፍቻ ውጤቶችን እንደለወጠም ዘግበዋል። እነዚህ ውጤቶች በጥናቱ የሙከራ ቅንብር ውስጥ ማህበራትን እና ጣልቃገብነቶችን ይገልፃሉ; አብስትራክቱ ሞዴሎቹ ሆን ብለው አታላይ እንደነበሩ፣ አንድ የተወሰነ መለኪያ በስም እንደታወቁ፣ ወይም ውጤቶቹ ሳይለወጡ ወደተሰማሩ ስርዓቶች እንደሚተላለፉ አያረጋግጥም።

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

ግኝቶቹ የአንድ ሞዴል ባህሪ በቤንችማርክ ወቅት ባህሪውን ከሙከራው ውጭ ይገምታል የሚለውን ግምት ይሞግታል። ሞዴሎች በተከታታይ ሳይገልጹ የግምገማ አውድ መወከል ከቻሉ፣ የውጤት-ብቻ ግምገማዎች ለምርመራ እንዴት ምላሽ እንደሚሰጡ ወሳኝ ክፍል ሊያመልጥ ይችላል።

የ AI ችሎታ እና የደህንነት ግምገማዎች በአጠቃላይ ሞዴል ምን ማድረግ እንደሚችል ወይም እንዴት እንደሚሠራ እንደ ማስረጃ በተመለከቱ ምላሾች ላይ ይመረኮዛሉ። የጥናቱ ማዕከላዊ ማስጠንቀቂያ ሞዴሉ የግምገማ አውድ ካወቀ ይህ ፍንጭ ያልተሟላ ሊሆን ይችላል። የቤንችማርክ ምላሽ ሁለቱንም ተግባሩን እና ሞዴሉን ለመፈተሽ የሚሰጠውን ምላሽ ሊያንፀባርቅ ይችላል። ያ መመዘኛዎችን በራሱ አያበላሽም፣ ነገር ግን የግምገማ ንድፉ ፈተናው ተራ ባህሪን ወይም በምርመራ ላይ የተመሰረተ ባህሪ እያሳየ መሆኑን ማጤን ሊያስፈልገው እንደሚችል ይጠቁማል።

በውክልና እና በቃላት መካከል ያለው ልዩነት በተለይ ለክትትል ጠቃሚ ነው. ወረቀቱ እንደዘገበው የውስጥ ምልክቶች እና የተገለጹ መልሶች በከፊል የተስተካከሉ ናቸው። ስለዚህ አንድ ሞዴል ከግምገማ ጋር የተገናኘ ውክልና ይዞ እያለ ግምገማን አያውቀውም ወይም በተመረጠው ንብርብር ወይም በተነበበበት መንገድ ግንዛቤን ሊገልጽ ይችላል። በተቃራኒው፣ የግንዛቤ ማስጨበጫ ተብሎ የሚገመገም የቃል ምላሽ የግድ የተረጋጋ የውስጥ ዘዴ ማረጋገጫ አይደለም። የሞዴል ማብራሪያዎችን ወይም ራስን ሪፖርቶችን እንደ ሙሉ ማስረጃ ማከም ይህንን ክፍተት ሊያሳጣው ይችላል።

የማሽከርከር ውጤቱ በወረቀቱ ክርክር ላይ የምክንያት አካልን ይጨምራል፡ በምርመራ የተገኘ አቅጣጫን መጠቀም በተፈተኑት ቅንብሮች ውስጥ የተቀየሩ የቃል ውጤቶች። ያ ሞዴሎች የሚወክሉትን ከሚናገሩት ጋር ለማነፃፀር ጥረቶችን ጨምሮ የወደፊቱን የክትትል እና የትርጓሜ ምርምርን ሊያሳውቅ ይችላል። ተግባራዊ ጠቀሜታው ተወስኖ ይቆያል. ጥናቱ ማሽከርከር ጎጂ ድርጊቶችን በአስተማማኝ ሁኔታ መቆጣጠር፣ የምርት ማሳያን መሸሽ ወይም በአብነት ቤተሰቦች ላይ አጠቃላይ ማድረግ እንደሚችል አላሳየም። የግምገማ ሥርዓቶች በመጨረሻ መልሶች ወይም በራስ ሪፖርቶች ላይ ብቻ ከመተማመን ይልቅ ከበርካታ ማስረጃዎች ለምን ሊጠቅሙ እንደሚችሉ ያሳያል።

ቀጥሎ ምን እንደሚታይ

ወረቀቱ ቅድመ-ህትመት ሲሆን ከተዘረጉ ስርዓቶች ማስረጃዎች ይልቅ ቁጥጥር የተደረገባቸው ሙከራዎችን ሪፖርት ያደርጋል። የክትትል ሥራ ተጨማሪ ሞዴሎችን፣ የግምገማ ቅንብሮችን እና የገሃዱ ዓለም አውዶችን መሞከር አለበት፣ እና የተገኙት ምልክቶች በደህንነት ወይም በችሎታ ባህሪ ላይ ትርጉም ያለው ለውጥ እንደሚተነብዩ መወሰን አለበት።

የወዲያውኑ ጥያቄ ማባዛት ነው። ጥናቱ ስድስት ሞዴሎችን፣ አራት የሞዴል ቤተሰቦችን እና ሶስት መጠኖችን ያጠቃልላል ነገር ግን አብስትራክቱ ሁሉንም አይለይም ወይም የውጤቱን ሙሉ ስርጭት አይገልጽም። ገለልተኛ ተመራማሪዎች የሚፈታው ምልክት በተለያዩ ጥያቄዎች፣ የተግባር ዓይነቶች፣ ቋንቋዎች፣ የናሙና መቼቶች እና ገምጋሚዎች ስር የሚቆይ መሆኑን ማረጋገጥ አለባቸው። እንዲሁም ለሚከተሉት መመሪያዎች በግልፅ የሰለጠኑ ሞዴሎችን ወይም ደህንነትን ከመሠረታዊ እና ክፍት የፍተሻ ነጥብ ስርዓቶች ጋር ማወዳደር አለባቸው።

ሁለተኛው ጥያቄ ተግባራዊ መተንበይ ዋጋ ነው። ውክልና ማግኘት የውጤት ውሳኔን እንደሚቀይር ከማሳየት ጋር ተመሳሳይ አይደለም. ተከታታይ ጥናቶች የግምገማ-ግንዛቤ ምልክቶች በእምቢታ ባህሪ፣ የአቅም ውጤቶች፣ የፖሊሲ ተገዢነት፣ ወይም የመሳሪያ አጠቃቀም ላይ ሊለኩ የሚችሉ ልዩነቶችን እንደሚተነብዩ እና እነዚህ ልዩነቶች ከላብራቶሪ ጥያቄዎች ውጭ ይታዩ እንደሆነ መጠየቅ አለባቸው። በተጨማሪም ምርመራው ምን ያህል ጊዜ የውሸት አወንታዊ ውጤቶችን እንደሚያመጣ፣ በዘፈቀደ ዘሮች እና በፍተሻ ኬላዎች መካከል ያለው አቅጣጫ ምን ያህል የተረጋጋ እንደሆነ፣ እና እየተሞከሩ ባሉ ተመሳሳይ ግምቶች ላይ ሳይመሰረቱ ክትትል ሊደረግ እንደሚችል ማረጋገጥ አለባቸው።

የስልጠና ደረጃ ውጤቱ ልዩ ምርመራ ሊደረግለት ይገባል. ወረቀቱ እንደዘገበው የግምገማ ግንዛቤ በመሠረታዊ ኦልሞ ሞዴሎች ውስጥ እንደሚኖር፣ ክትትል በሚደረግበት ጥሩ ማስተካከያ ወቅት እንደሚጨምር እና ከዚያ በኋላ የተረጋጋ ሆኖ እንደሚቆይ፣ የመሪነት ውጤቶችም በየደረጃው ያድጋሉ። ያ ስርዓተ-ጥለት በተማሩ ውክልናዎች ላይ ለውጦችን፣ መመሪያን የሚከተል ባህሪን ወይም ጥቅም ላይ የዋሉ ልዩ ምርመራዎችን እና ተግባሮችን ሊያንፀባርቅ ይችላል። ማጠቃለያው የትኛው ማብራሪያ ትክክል እንደሆነ አይወስንም። ወረቀቱ የarXiv ግቤት ነው፣ስለዚህ የይገባኛል ጥያቄዎቹ ተባዝተው ሰፋ ባለው የአቻ ግምገማ እስኪገመገሙ ድረስ እንደ የመጀመሪያ ደረጃ መታየት አለባቸው። ትርጉም ያለው የማይታወቁ ግኝቶቹ በተዘጉ ሞዴሎች፣ መልቲሞዳል ሲስተም፣ ወኪል ማሰማራት ወይም የደህንነት ወሳኝ ግምገማዎች ላይ ተፈጻሚ መሆን አለመሆናቸውን ያካትታሉ።

ተዛማጅ መመሪያዎች እና ጥያቄዎች