ቴክ ኤክስፕሎር በ22 ኤል.ኤም.ኤም.ዎች ውስጥ ባሉ የባለሙያ ምክሮች ላይ አድልዎ መፈለግን ዘግቧል

ምን ተፈጠረ

ቴክ ኤክስፕሎር በኤልኤልኤምኤስኮላር ቤንች ላይ እንደዘገበው፣ ከውስብስብ ሳይንስ ማዕከል ጋር በተገናኙ ተመራማሪዎች የተገነባው ትልቅ የቋንቋ ሞዴሎች ባለሙያዎችን እንዴት እንደሚመክሩት ለመገምገም። ሪፖርቱ እንደሚያመለክተው መለኪያው 22 ሞዴሎችን በቴክኒካል ጥራት እና በማህበራዊ ውክልና መለኪያዎች ላይ ሞክሯል፣ይህም ምክረ ሐሳቦች ብዙ ጊዜ በጣም የተጠቀሱ፣ ከፍተኛ፣ ወንድ፣ አሜሪካን ያደረጉ እና ነጭ ምሁራንን ይደግፋሉ ብሏል። በማደስ የተጨመረው ትውልድ የእውነታውን ትክክለኛነት አሻሽሏል፣ ነገር ግን መነሳሳት ውክልናን ሊመራ ይችላል፣ ነገር ግን ሁለቱ ግቦች በውጥረት ውስጥ ቆዩ።

ቴክ ኤክስፕሎር ከ22 ሞዴሎች የባለሙያ ምክሮችን ለመፈተሽ ከውስብስብ ሳይንስ ሃብ ጋር በተገናኘ በተመራማሪዎች በተዘጋጀው LLMScholarBench ላይ ዘግቧል፡ 20 ክፍት ክብደት እና ሁለት የባለቤትነት ሞዴሎች ከቤተሰቦች Gemini፣ GPT፣ Llama ጌማ። አምስት ቴክኒካል መለኪያዎችን ለካ—የእውነታው ትክክለኛነት፣ ወጥነት፣ ትክክለኛነት፣ እምቢታዎች እና የተባዙ ምክሮች—እና አራት ማህበራዊ መለኪያዎች፡ ተያያዥነት፣ የቢቢሊዮሜትሪክ ተመሳሳይነት፣ ልዩነት እና እኩልነት።

ተመራማሪዎቹ በመጀመሪያ ስድስት ክፍት ክብደት ያላቸውን ሞዴሎች በአምስት የፊዚክስ የማበረታቻ ስራዎች ላይ ገምግመዋል፣ ይህም ለአምስቱ ከፍተኛ እና ከፍተኛ 100 ተፅእኖ ፈጣሪ ባለሙያዎች ጥያቄዎችን ጨምሮ። የማመሳከሪያው ዳታቤዝ በ1893 እና 2020 መካከል በአሜሪካ ፊዚካል ሶሳይቲ ጆርናሎች ላይ ያሳተሙ ከ450,000 በላይ ሳይንቲስቶችን ይዟል። ቴክ ኤክስፕሎር እንዳለው ሞዴሎች ሳይንቲስቶችን በመረጃ ቋቱ ውስጥ 80% ከሚሆኑ ምክሮች ውስጥ ስማቸው፣ የሜዳ እና የከፍተኛ ደረጃ አለመመጣጠን ከባድ ነበር። የፊዚክስ-ንዑስ መስክ አለመዛመዶች በመጀመሪያው ፈተና በአማካይ 40% ገደማ ነበር።

ሪፖርቱ የስነ-ሕዝብ እና የጂኦግራፊያዊ ውጣ ውረዶችን ይገልጻል። እንደ ንዑስ መስክ እና የወር አበባ ሁኔታ ሴቶች ከ14% እስከ 32% ተመራማሪዎችን ይወክላሉ፣ ነገር ግን ሞዴሎች ብዙ ጊዜ ጥቂት ሴቶችን ይመክራሉ ወይም አንዳቸውም አይደሉም። የእስያ ሊቃውንት ትልቁ የስነ-ሕዝብ ቡድን ነበሩ፣ ነገር ግን ነጭ ምሁራን በብዛት በብዛት ሲወከሉ የጥቁር እና የላቲን ተመራማሪዎች ብዙ ጊዜ አይገኙም። በጣም በታተሙ እና በተጠቀሱ ምሁራን ላይ ያተኮሩ ምክሮች እና ትናንሽ ሞዴሎች በጥቂት አገሮች ውስጥ ምክሮችን ሰብስበዋል ።

ቴክ ኤክስፕሎር ከ0.63 እስከ 0.82፣ የብዝሃነት ውጤቶች ከ0.44 እስከ 0.69፣ እና ከ54% እስከ 60% የተመጣጠነ ውጤትን ዘግቧል። DeepSeek እና Gemini በእውነታ ላይ በጣም ጠንካራ ከነበሩት መካከል፣ DeepSeek በብዝሃነት ይመራል፣ ጌማ ደግሞ በእኩልነት ይመራል። በ 22 ሞዴሎች ውስጥ አራት ጣልቃ ገብነቶች በማገገም የተጨመረው ትውልድ ቴክኒካዊ ጥራትን በተለይም ትክክለኛነትን ሲያሻሽል, ፈጣን ምህንድስና የተሻሻለ ውክልና; እነሱን በማጣመር አሁንም እያንዳንዱን መለኪያ በአንድ ጊዜ አላሻሻሉም.

ተጨማሪ ጥናት የተወሰነ ሚና፣ ቋንቋ ወይም ጂኦግራፊያዊ አቀማመጥ በስድስት የአካዳሚክ ዘርፎች ምክሮችን እንደለወጠ መረመረ። አካባቢው ውጤቱን ነካ፣ ቋንቋ እና ሚና ግን አላደረገም። የአዳዲስ የባለቤትነት Gemini 2.5 ፕሮ እና የፍላሽ ሞዴሎች ከድር ሰርስሮ ጋር የተደረጉ ሙከራዎች የእውነታ ትክክለኛነትን ጨምረዋል ነገር ግን ልዩነትን እና እኩልነትን ቀንሰዋል። ምንጩ LLMScholarBench ከትክክለኛ ደረጃ አሰጣጥ ይልቅ ቀጣይነት ያለው የኦዲት መሳሪያ አድርጎ ያቀርባል፣ አንዳንድ ሞዴሎች ከጥናቱ በኋላ የተዘመኑ ሊሆኑ እንደሚችሉ በመጥቀስ።

የምንጭ ዝርዝሮች: techxplore.com ↗

ለምን አስፈላጊ ነው።

ተመራማሪዎችን ፣ዶክተሮችን እና ጠበቆችን ጨምሮ ለሙያዊ እድሎች ሰዎችን ለማግኘት AI ስርዓቶች የበለጠ ጥቅም ላይ ይውላሉ። ምክሮች ቀድሞውንም በከፍተኛ ደረጃ የሚታዩ ሰዎችን ደጋግመው የሚደግፉ ከሆነ ስርአቶቹ ውጤቶቻቸውን እንደ ገለልተኛ ሆነው በሚያቀርቡበት ወቅት የእድሎችን መዳረሻ ማጥበብ ይችላሉ። ግኝቶቹም ለምን ትክክለኛነት ብቻውን ለምክር ስርዓቶች ያልተሟላ መለኪያ እንደሆነ ያሳያሉ፡ ዝርዝሩ እውነተኛ ባለሙያዎችን ሊይዝ እና አሁንም የስነ-ሕዝብ እና የጂኦግራፊያዊ አለመመጣጠን ሊባዛ ወይም ሊያጠናክር ይችላል።

የባለሙያዎች ምክር የበር ጠባቂ ደረጃ ሊሆን ይችላል፡ የኮንፈረንስ አዘጋጆች ዋና ዋና ተናጋሪዎችን ሊያገኙ ይችላሉ፣ ቀጣሪዎች የእጩ ገንዳዎችን ሊሰበስቡ ይችላሉ፣ እና ታካሚዎች በኤል.ኤም.ኤም. ቴክ ኤክስፕሎር እንደዘገበው ተመራማሪዎች እነዚህን አደጋዎች ከአካዳሚክ ባሻገር ያዩታል። በጣም የሚታዩ ሰዎችን ደጋግሞ መሰየም ትኩረትን እና እድሎችን ወደ ተመሳሳይ ቡድን ሊያመራ እና ብዙም የማይታዩ ብቁ ሰዎችን ሳይታወቅ ይቀራል።

ግኝቶቹ እውነታውን ከትክክለኛነት ይለያሉ። ምክረ ሃሳብ ሰውዬው በመስኩ ላይ ስላለ እና በመስክ ላይ ስለሚሰራ፣ነገር ግን አግባብነት ባለው የባለሙያ ህዝብ ውስጥ የሚገኙ ቡድኖችን የሚያገለል ከሆነ በማህበራዊ ደረጃ ሚዛኑን የጠበቀ ሊሆን ይችላል። ሪፖርቱ በቴክኒካዊ ጥራት እና በማህበራዊ ውክልና መካከል ያለው ልዩነት ስሞች እውነተኛ መሆናቸውን ወይም ጥቅሶች መኖራቸውን ብቻ ከመፈተሽ የበለጠ ጠቃሚ ማዕቀፍ ያቀርባል።

የጣልቃ ገብ ውጤቶቹ የድር ፍለጋ የምክር አድሎአዊነትን ይፈታል የሚለውን ግምት ያወሳስበዋል። ቴክ ኤክስፕሎር መልሶ ማግኘቱ የተሻሻለ የእውነታ ትክክለኛነት ተሻሽሏል ነገር ግን በአዳዲስ የባለቤትነት ሞዴሎች ሙከራዎች ውስጥ ልዩነትን እና እኩልነትን ቀንሷል። ተመራማሪዎች ያንን አደጋ በድር ላይ ዝቅተኛ ውክልና ነው ይላሉ; ምንጩ ይህንን እንደ ትርጓሜያቸው ነው የሚያቀርበው እንጂ ራሱን የቻለ የምክንያት ግኝት አይደለም። ስርዓቱን በውጪ መዘርጋት በራሱ መረጃውን ወካይ አያደርገውም።

የጂኦግራፊያዊ ተፅእኖ ለአለም አቀፍ ተጠቃሚዎች አስፈላጊ ነው. መገኛ ቦታ የትኞቹ ምሁራን እንደሚመከሩ ከተቀየረ፣ አንድ ስርዓት ከአዋቂነት ይልቅ ስለአካባቢው አግባብነት ወይም ታይነት ግምቶችን ሊያካትት ይችላል። ምንጩ ቋንቋ እና ሚና በተዘገቡት ፈተናዎች ላይ ለውጥ አላመጣም ይላል፣ ነገር ግን ይህ በሌሎች የትምህርት ዘርፎች፣ ቋንቋዎች እና ሞዴሎች ምንም ፋይዳ እንደሌለው ያሳያል። ውጤቱ በጥናቱ በተፈተኑ ሁኔታዎች ላይ ይሠራል.

ምንጩ የትኛውም ሞዴል አንድ ሰው ስራ፣ ግብዣ ወይም እድል እንዲያጣ እንዳደረገ ምንጩ አላረጋገጠም። እንዲሁም የስነ ሕዝብ አወቃቀር ሥራዎችን፣ ከእያንዳንዱ ውጤት በስተጀርባ ያሉ የሩጫዎች ብዛት፣ ወይም እርግጠኛ ያልሆኑ ስሌቶችን ለመወሰን በቂ ዘዴያዊ ዝርዝር የለውም። ውጤቶች በጥያቄዎች፣ የሞዴል ስሪቶች፣ የመመለሻ ምንጮች እና ናሙናዎች ሊለያዩ ይችላሉ። ስለዚህ የሥራው የህዝብ ዋጋ ሊለካ የሚችል አደጋን እያጋለጠ እና ሊደገም የሚችል የኦዲት መዋቅር እያቀረበ ነው እንጂ እያንዳንዱ ማሰማራቱ ተመሳሳይ ባህሪ እንዳለው አያረጋግጥም።

ቀጥሎ ምን እንደሚታይ

ምንጩ የ2026 ACM SIGKDD ህትመቶችን እና ሁለት arXiv ጥናቶችን ይጠቅሳል፣ ነገር ግን እነዚያ ዋና ቁሳቁሶች እዚህ በግል አልተገመገሙም። አስፈላጊ ክፍት ጥያቄዎች ውጤቶቹ በጥያቄዎች፣ ናሙናዎች፣ የሞዴል ማሻሻያዎች እና የስነ-ህዝብ አመዳደብ ዘዴዎች እንዴት እንደሚለያዩ፣ እና መለኪያው በእውነተኛ ቅጥር፣ መግቢያ ወይም የኮንፈረንስ ምርጫ ስርዓቶች ውጤቶችን እንደሚተነብይ ያካትታል። ወደፊት የሚደረጉ ግምገማዎች ሰፋ ያለ የማመሳከሪያ መረጃ እና የተዋቀረ የሰው ልጅ ግምገማ እውነታውን እና ውክልናን አንድ ላይ ማሻሻል ይችሉ እንደሆነ መፈተሽ አለባቸው።

የተጠቀሰው የመጀመሪያ ደረጃ ምርምር ገለልተኛ ምርመራ የመጀመሪያው ቅድሚያ ነው. ቴክ ኤክስፕሎር የ2026 ACM SIGKDD ወረቀት በማመሳከሪያ እና በጣልቃ ገብነት ላይ የተመሰረተ ኦዲት እና arXiv በመጀመርያ ኦዲት እና ሰውን አነቃቂ ውጤቶች ላይ ይለያል። እነዚያ ቁሳቁሶች ጥያቄዎችን፣ የሞዴል ስሪቶችን፣ የሙከራ ቆጠራዎችን፣ እስታቲስቲካዊ እርግጠኛ አለመሆንን፣ የስነ-ሕዝብ መለያ አሠራሮችን፣ የማጣቀሻ ሰዎችን፣ እምቢታዎችን እና ቅጂዎችን ማብራራት አለባቸው። እነዚህ ዝርዝሮች ከሁለተኛው ሪፖርት ብቻ መገመት የለባቸውም።

ተመራማሪዎች እና አሰማሪዎች የLLMScholarBench ግኝቶች ከፊዚክስ እና ከተገለጹት ስድስት የትምህርት ዓይነቶች በላይ መስፋፋታቸውን ማረጋገጥ አለባቸው። የAPS ሕትመት መዝገቦች የተለያየ የሕትመት ዘይቤ፣ ጂኦግራፊያዊ አወቃቀሮች ወይም የስነ ሕዝብ አወቃቀር መረጃዎች ያላቸውን መስኮች ላይወክሉ ይችላሉ፣ እና ከአካዳሚክ ሕትመት ውጭ የተመዘገቡ ዕውቀትን ሊያመልጡ ይችላሉ። መድሃኒትን፣ ህግን፣ ምህንድስናን፣ የህዝብ አገልግሎትን እና የሰለጠነ ንግድን መሞከር አደጋው ሰዎች የ AI ምክሮችን በሚጠቀሙባቸው መቼቶች ላይ እንደሚጠቃለል ያሳያል።

የሞዴል ማሻሻያ እና የመመለሻ ምንጮች የማያቋርጥ ክትትል ያስፈልጋቸዋል። ሪፖርቱ አንዳንድ የተገመገሙ ሞዴሎች ተለውጠዋል እና አዳዲስ የGemini ሙከራዎችን ከድር ሰርስሮ በማውጣት የተለየ የውጤት ሚዛን ያስገኙ እንደሆነ ይገልጻል። ነጠላ ሩጫ ጊዜ ያለፈበት ሊሆን ይችላል። ክትትል በጊዜ ሂደት የተለቀቁትን ማወዳደር፣ የተገኙ የድር ምንጮችን መመዝገብ እና ለውጦቹ ትክክለኛነትን እና ውክልናውን በአንድ ላይ ማሻሻላቸውን መለካት አለባቸው፣ አፈጻጸምን በመጠን መካከል ከመቀየር ይልቅ።

ሰዎችን ለመምከር AI የሚጠቀሙ ድርጅቶች ግልጽ መስፈርት፣ የሰው ግምገማ እና ብቃት ያላቸው ግለሰቦች ሲቀሩ ግምት ውስጥ መግባት አለባቸው። መጠየቂያውን፣ የሞዴል ሥሪትን፣ የመልሶ ማግኛ መቼት እና ውፅዓት መመዝገብ እና ስሞቹ እውነት መሆናቸውን ከመገምገም በላይ መገምገም አለባቸው። ምንጩ የቁጥጥር መስፈርትም ሆነ የተረጋገጠ የኢንዱስትሪ ምላሽን ሪፖርት አላደረገም፣ ስለዚህ እነዚህ በስጋቶቹ የተጠቆሙ ተግባራዊ መከላከያዎች እንጂ በማመሳከሪያው ምክንያት የተወሰዱ እርምጃዎች አይደሉም።

ተጨማሪ የውክልና መረጃዎች ሪፖርት የተደረገውን የንግድ ልውውጥ ማሸነፍ ይችሉ እንደሆነ መፍትሄ አላገኘም። ቴክ ኤክስፕሎር ቡድኑ ሰፋ ያለ የምሁራን እውቀት መሰረት ለመገንባት አቅዷል፣ ነገር ግን የተሟላ ስለመሆኑ ወይም የቤንችማርክ አፈጻጸምን እንደሚያሻሽል ምንም አይነት ማስረጃ አይሰጥም ብሏል። የወደፊት ውጤቶች በተጨባጭነት፣ በብዝሃነት እና በእኩልነት ላይ ሊባዙ የሚችሉ ድሎችን፣ በተጨማሪም ቤንችማርክን ሳያሻሽሉ በተጨባጭ የምክር ስራዎች ላይ ጽናት ማሳየት አለባቸው።

ተዛማጅ መመሪያዎች እና ጥያቄዎች