ምን ተፈጠረ
የWharton ትምህርት ቤት ተመራማሪዎች በተፈጥሮ ኮምፒውቲሽናል ሳይንስ ላይ ጥናት እንዳሳተሙ የደራሲዎች የራሳቸው የ AI ወረቀቶች እራሳቸውን መመዘኛ ከመደበኛ የአቻ-ግምገማ ውጤቶች ይልቅ የወደፊቱን የአካዳሚክ ጥቅሶች የበለጠ ጠንካራ ትንበያ መሆናቸውን ያሳያል። ጥናቱ እ.ኤ.አ. በ 2023 ከዓለም አቀፍ የማሽን መማሪያ ኮንፈረንስ (ICML) የተገኘውን መረጃ የተተነተነ ሲሆን ከዚያን ጊዜ ጀምሮ ICML ይህንን የራስ-ደረጃ ልዩነት ዘዴ በ 2026 የግምገማ ሂደት ውስጥ በአካባቢ ወንበሮች ለመፈተሽ ወረቀቶችን ጠቁሟል ።
Wharton ትምህርት ቤት ተመራማሪዎች, ፕሮፌሰሮች Weijie Su እና Bingxin Zhao እና የዶክትሬት ተማሪ Buxin Su, ላይ ጥናት አሳተመ ነሐሴ 24 ላይ ተፈጥሮ ኮምፒውቲሽናል ሳይንስ ውስጥ ጥናት አሳተመ ጥናቱ ደራሲዎች 'የራሳቸው ወረቀቶች ራሳቸውን ደረጃዎች ሰው ሠራሽ ኢንተለጀንስ መስክ ውስጥ ሳይንሳዊ ተጽዕኖ አስተማማኝ አመልካች ሆኖ እንዲያገለግል መሆኑን መረመረ.
የምርምር ቡድኑ ከ2023 አለም አቀፍ የማሽን መማሪያ ኮንፈረንስ (ICML) የተገኘውን መረጃ ተንትኗል። 2,592 ግቤቶችን ከያዙ 1,342 ደራሲዎች የራስ ደረጃዎችን ሰብስበዋል. የአቻ ግምገማዎች ከመውጣታቸው በፊት ደራሲዎች ወረቀቶቻቸውን በሳይንሳዊ ጥራት ደረጃ እንዲሰጡ ተጠይቀዋል። የመጨረሻው ትንተና 797 ደራሲያን እና 1,527 ልዩ ጽሑፎችን ከጥቅስ መረጃ ጋር በማዛመድ ያካትታል።
ጥናቱ እንደሚያሳየው በጸሐፊዎቻቸው ከፍተኛ ደረጃ ላይ የደረሱ ወረቀቶች በሚከተሉት 16 ወራት ውስጥ በአማካይ በእጥፍ ከተመዘገቡት ጥቅሶች አግኝተዋል። ይህ ንድፍ ለሁለቱም ተቀባይነት ያላቸው እና ውድቅ ለሆኑ ወረቀቶች የተያዘ ነው። በተጨማሪም፣ የጸሐፊ ደረጃዎች የተነበዩት የወደፊት ጥቅሶች ከአቻ-ግምገማ ውጤቶች በበለጠ በትክክል ይቆጠራሉ። በናሙና ውስጥ ከ150 በላይ ጥቅሶችን ከተቀበሉት 22 ወረቀቶች ውስጥ 17ቱ ቢያንስ በአንድ ደራሲ አንደኛ ሆነዋል።
በእነዚህ ግኝቶች ላይ በመመስረት፣ ተመራማሪዎቹ በደራሲ ደረጃዎች እና በግምገማ ውጤቶች መካከል ያሉ ልዩነቶች ለቅርበት ምርመራ ወረቀቶችን ለመጠቆም የሚያገለግሉበትን ስርዓት አቅርበዋል ። ICML ይህንን አካሄድ በ2026 የግምገማ ሂደት ውስጥ አካትቷል። በዘፈቀደ ሙከራ ውስጥ፣ የልዩነት ምድቦችን ማየት የሚችሉ የአካባቢ ወንበሮች በአንድ ወረቀት በግምት 71% ተጨማሪ የአስተያየት ጽሑፍ ጽፈው ምድቦቹን ማየት ካልቻሉት ጋር ሲነፃፀሩ ከገምጋሚዎች ጋር በተደጋጋሚ ይነጋገሩ ነበር።
ለምን አስፈላጊ ነው።
የ AI የምርምር መስክ ልምድ ካላቸው የአቻ ገምጋሚዎች ገንዳ በበለጠ ፍጥነት እያደገ ነው, ይህም ከፍተኛ ተጽዕኖ ያለው ስራን ለመለየት እንቅፋት ይፈጥራል. ይህ ጥናት የተገደበ የግምገማ ሀብቶችን የበለጠ ውጤታማ በሆነ መንገድ ለመመደብ ተግባራዊ፣ በመረጃ ላይ የተመሰረተ አሰራርን ያቀርባል። ከገምጋሚ ውጤቶች ጋር አለመግባባቶችን ለመጠቆም እራስን ደረጃዎችን በመጠቀም፣ ኮንፈረንሶች ትኩረትን ወደ ሊታለፉ ወይም ሊታለፉ ወደሚችሉ ወረቀቶች ሊመሩ ይችላሉ። ይህ አካሄድ የሰውን ፍርድ ሳይተካ በአካዳሚክ ሕትመት ውስጥ ያለውን መዋቅራዊ ጉድለትን ይመለከታል፣ ይህም ተቀባይነት ያለው የ AI ምርምር አጠቃላይ ጥራት እና አስፈላጊነትን ያሻሽላል።
የ AI ምርምር ፈጣን እድገት ልምድ ያላቸውን የእኩያ ገምጋሚዎች አቅርቦት በልጦ በባህላዊ ዘዴዎች ብቻ ከፍተኛ ተፅእኖ ያላቸውን ስራዎች ለመለየት አስቸጋሪ ያደርገዋል። ይህ ጥናት የጸሐፊዎችን ግምገማዎች ለተጨማሪ ምርመራ የሚያግዙ ወረቀቶችን ቅድሚያ በመስጠት ሊሰፋ የሚችል መፍትሔ ይሰጣል።
ዘዴው የአቻ ግምገማን አይተካም ነገር ግን አንድ ወረቀት በግምገማዎች ዝቅተኛ ወይም ከልክ በላይ ዋጋ ያለው መሆኑን የሚያሳዩ ልዩነቶችን በማጉላት ይጨምራል። ይህ የአከባቢ ወንበሮች የግምገማው ሂደት ቁልፍ የሆኑ ነገሮችን በሚጎድልባቸው ጉዳዮች ላይ በማተኮር የተወሰነ ጊዜያቸውን በብቃት እንዲመድቡ ያስችላቸዋል።
ጥናቱ የጥቅስ ቆጠራዎች ለጥራት ፍጽምና የጎደላቸው ፕሮክሲዎች መሆናቸውን አምኗል፣ ምክንያቱም በርዕስ ታዋቂነት፣ በጊዜ እና በደራሲ ታይነት ላይ ተጽእኖ ሊኖራቸው ይችላል። ነገር ግን፣ በራስ-ደረጃዎች እና ጥቅሶች መካከል ያለው ጠንካራ ትስስር ደራሲያን ስለ ስራቸው እምቅ ተፅእኖ ምክንያታዊ ግንዛቤ እንዳላቸው ይጠቁማል፣ ይህም የግምገማ ሂደቱን ውጤታማነት ለማሻሻል ጥቅም ላይ ሊውል ይችላል።
በይነተገናኝ ሜካኒዝም፡ በትክክል እንዴት እንደሚሰራ
ከዚህ ልማት በስተጀርባ ያለውን ቴክኖሎጂ በይነተገናኝ ያስሱ።
Which component of an AI application is the machine-learning model itself?
ቀጥሎ ምን እንደሚታይ
ሌሎች ዋና ዋና AI እና የማሽን መማሪያ ኮንፈረንሶች በግምገማ ሂደታቸው ውስጥ ተመሳሳይ የራስ-ደረጃ አሰጣጥ ስልቶችን መከተላቸውን ይቆጣጠሩ። ይህ ዘዴ በተጨባጭ ተቀባይነት ያላቸውን ወረቀቶች ጥራት የሚያሻሽል ወይም የገምጋሚውን የሥራ ጫና የሚጨምር መሆኑን የሚገመግሙ ተከታታይ ጥናቶችን ይመልከቱ። በተጨማሪም፣ የአካዳሚክ ማህበረሰቡ ወጥነትን ለማረጋገጥ እና በተለያዩ ቦታዎች ላይ መጠቀሚያዎችን ለመከላከል ደረጃቸውን የጠበቁ ፕሮቶኮሎችን ለራስ-ደረጃ ካወጣ ይመልከቱ።
ይህ ዘዴ እንደ NeurIPS ወይም ICLR ባሉ ሌሎች ዋና ዋና የ AI ኮንፈረንስ መቀበሉ ግልጽ አይደለም። የICML ትግበራ ስኬት ለሰፊው የአካዳሚክ ማህበረሰብ የፅንሰ-ሀሳብ ማረጋገጫ ሆኖ ሊያገለግል ይችላል።
የተጠቆሙ ወረቀቶች መጨመር የተሻለ ተቀባይነት ውሳኔዎችን እንደሚያመጣ ወይም በአካባቢው ወንበሮች እና ገምጋሚዎች ላይ ሸክሙን የሚጨምር ከሆነ የወደፊት ምርምር ማወቅ ያስፈልገዋል። የአሁኑ ጥናት በግምገማ ሂደት ውስጥ ተሳትፎን ለካ ነገር ግን የመጨረሻ ውሳኔዎች ጥራት ላይ መሻሻል አላሳየም።
ተመራማሪዎቹ የልዩነቱን አቅጣጫ ከአካባቢው ወንበሮች በመደበቅ መሰል ማበረታቻዎችን ለመቀነስ ሥርዓቱን ቢነድፉም የማታለል አደጋ አለ። ደራሲያን እና ገምጋሚዎች ከዚህ አዲስ ሂደት ጋር እንዴት እንደሚላመዱ መከታተል በሚቀጥሉት አመታት አስፈላጊ ይሆናል።