ምን ተፈጠረ
ቴክኖድ እንደዘገበው Baidu DuMateBenchን እንደጀመረ የግምገማ መሪ ሰሌዳ AI ወኪሎች መልሶችን ብቻ ከማመንጨት ይልቅ የገሃዱ ዓለም ተግባራትን ማጠናቀቅ እና ጥቅም ላይ የሚውሉ ውጤቶችን ማቅረብ ይችሉ እንደሆነ ላይ ያተኮረ ነው። ሪፖርት የተደረገው ቤንችማርክ በስድስት ምድቦች ከ200 በላይ የቢሮ ስራዎችን የያዘ ሲሆን የተግባር ግንዛቤን፣ የመሳሪያ አጠቃቀምን፣ ቀጣይነት ያለው አፈጻጸምን እና የመጨረሻ የውጤት አሰጣጥን ይገመግማል። TechNode በተጨማሪም DuMateBench አጠቃላይ የግምገማ ማዕቀፍ እና ክፍት በይነገጽ ስለሚጠቀም የተለያዩ ሞዴሎች እና ወኪሎች በጋራ መመዘኛዎች መሞከር እንደሚችሉ ዘግቧል። ምንጩ የተግባር ዝርዝሩን፣ የመሪዎች ሰሌዳ ውጤቶችን፣ ተሳታፊ ስርዓቶችን፣ የውጤት አሰጣጥ ዘዴን ወይም የህዝብ መዳረሻ ዝርዝሮችን አይሰጥም።
TechNode እንደዘገበው Baidu DuMateBench ለ AI ወኪሎች የግምገማ መሪ ሰሌዳ አድርጎ እንደጀመረ። የተገለጸው ትኩረት የተግባር ማጠናቀቂያ እና ጥቅም ላይ የሚውል ማድረስ ነው፡ ማመሳከሪያው አንድ ወኪሉ መልስ ብቻ ከማስገኘት ይልቅ የገሃዱ አለምን ተግባር ማከናወን እና ውጤት ማምጣት ይችል እንደሆነ ለመመርመር ነው። ያ ልዩነት የተወካዩን ባህሪ በተዘገበው የእድገት መሃል ላይ በተደረጉ ተከታታይ ድርጊቶች ላይ ያስቀምጣል። ምንጩ የመሪዎች ሰሌዳው አስቀድሞ በህዝባዊ ውጤቶች የተሞላ መሆኑን ወይም ጅማሮው ማዕቀፉን እና የግምገማ ስርዓቱን መገኘቱን የሚያመለክት ስለመሆኑ አልገለጸም።
እንደ TechNode፣ DuMateBench በስድስት ምድቦች የተከፋፈሉ ከ200 በላይ የቢሮ ሥራዎችን ያካትታል። ምንጩ የእነዚያን ምድቦች ስም አይገልጽም ወይም ተግባራቶቹን በግለሰብ ደረጃ አይገልጽም, ስለዚህ የተሸፈነው የስራ መጠን ከዚህ ሪፖርት ብቻ ሊገመገም አይችልም. በተጨማሪም ቤንችማርክ በተወሳሰቡ የአሠራር አካባቢዎች ውስጥ ወኪሎችን ይፈትሻል ይላል። ያ ሐረግ የሚያመለክተው ብዙ ደረጃዎችን ወይም የአሠራር ገደቦችን በሚያካትቱ ሁኔታዎች ላይ አጽንዖት ነው፣ ነገር ግን ጽሑፉ በፈተናዎች ውስጥ ጥቅም ላይ የዋሉትን የሶፍትዌር አካባቢዎችን፣ መሣሪያዎችን፣ ውሂብን ወይም ፈቃዶችን አይገልጽም።
TechNode እንደዘገበው መለኪያው አራት ቦታዎችን ይገመግማል፡ የተግባር ግንዛቤ፣ የመሳሪያ አጠቃቀም፣ ቀጣይነት ያለው አፈፃፀም እና የመጨረሻ ውጤት አቅርቦት። በተጨማሪም DuMateBench አጠቃላይ የግምገማ ማዕቀፍ እና ክፍት በይነገጽ እንደሚጠቀም ዘግቧል፣ ይህም የተለያዩ ሞዴሎችን እና ወኪሎችን በተመሳሳይ መስፈርት እንዲሞከሩ ያስችላቸዋል። እነዚህ ዝርዝሮች የቤንችማርክን የታሰበ መዋቅር ይገልጻሉ እንጂ የትኛውም የተለየ ስርዓት እንዴት እንደ ፈጸመ የሚያሳይ ማስረጃ አይደለም። ምንጩ ምንም ዓይነት ሞዴል-በ-ሞዴል ውጤቶች፣ የስህተት ትንተና፣ ራሱን የቻለ ማባዛት፣ የተግባር ምሳሌዎች ወይም እያንዳንዱ ክፍል እንዴት እንደሚመዘገብ የሚያረጋግጥ ሰነድ አይሰጥም።
ለምን አስፈላጊ ነው።
የ AI ወኪል ግምገማዎች ብዙውን ጊዜ ከአንድ ምላሽ ጥራት የበለጠ መለካት አለባቸው። አንድ ሥርዓት መሣሪያዎችን መጠቀም፣ ብዙ ደረጃዎችን ማስተዳደር ወይም ሌላ ሰው ሊጠቀምበት የሚችለውን ውጤት ሲያመጣ ጥያቄውን ሊረዳው ይችላል። የተዘገበው ማዕቀፍ በይፋ ጥቅም ላይ የሚውል ከሆነ እና መስፈርቶቹ በበቂ ሁኔታ ግልጽ ከሆኑ DuMateBench ለገንቢዎች እና ለተጠቃሚዎች የተወካይ አፈጻጸምን ለማነፃፀር የበለጠ ተግባራዊ መንገድ ሊሰጥ ይችላል። ዋጋው ግልጽነት፣ መባዛት እና ተግባሮቹ ከጠባብ ማሳያዎች ይልቅ እውነተኛ የስራ ሁኔታዎችን ይወክላሉ ወይ ይወሰናል።
የማጠናቀቂያው አጽንዖት በብዙ የ AI ግምገማዎች ላይ ተግባራዊ ድክመትን ይመለከታል። አንድ ሞዴል በጥያቄ የተመለከተውን ሥራ በተሳካ ሁኔታ ሳያከናውን አሳማኝ ምላሽ መስጠት ይችላል። በበርካታ እርከኖች ውስጥ መስራት ያለበት ወኪል ተጨማሪ የውድቀት ነጥቦችን ያስተዋውቃል፣ አላማውን አለመግባባት፣ ተገቢ ያልሆነ መሳሪያ መምረጥ፣ ሁኔታውን ማጣት ወይም የተጠየቀውን የመጨረሻ ምርት አለማቅረብን ጨምሮ። እነዚያን ደረጃዎች ለየብቻ መለካት ምዘናዎችን በተለመደው ሥራ ወኪሎችን መጠቀም አለመጠቀም ለሚወስኑ ሰዎች የበለጠ መረጃ ሰጭ ሊያደርግ ይችላል።
የጋራ የግምገማ ማዕቀፍ ተግባራቱ፣ ውጤት ማስመዝገብ እና የሙከራ አካባቢዎች ለውጭ ምርመራ በበቂ ሁኔታ ክፍት ከሆኑ በስርዓቶች መካከል ያለውን ንፅፅር ሊያሻሽል ይችላል። TechNode እንደዘገበው DuMateBench ክፍት በይነገጽ አለው ይህም የተለያዩ ሞዴሎችን እና ወኪል ስርዓቶችን ከተመሳሳይ የግምገማ ቅንብር ጋር ማገናኘት ቀላል ያደርገዋል። ያ በመሠረታዊ ሞዴሎች ላይ የተደረጉ ማሻሻያዎችን በኦርኬስትራ፣ በመሳሪያ ተደራሽነት ወይም በስራ ፍሰት ዲዛይን ላይ ካሉ ማሻሻያዎች ለመለየት ይረዳል። ተግባራዊ ጥቅሙ ሁኔታዊ ሆኖ ይቆያል፡ በይነገጽ ሙሉ በሙሉ ሊባዛ ከሚችል ቤንችማርክ ጋር አንድ አይነት አይደለም፣ እና ምንጩ ውሂቡ፣ ተግባራቱ ወይም የውጤት አወሳሰድ አተገባበሩ ምን ያህል ክፍት እንደሆኑ አልገለጸም።
መለኪያው በተለይ ጠቃሚ ሊሆን ይችላል ምክንያቱም የተዘገበው ወሰን ከአንድ ልዩ ባለሙያተኛ ችሎታ ይልቅ የቢሮ ሥራ ነው. ሆኖም ግን "የቢሮ ተግባራት" ሰፋ ያለ መግለጫ ነው, እና ስለ የስራ ቦታ አውቶማቲክ ድምዳሜዎች ከጽሑፉ ሊወጣ አይችልም. የውጤቶቹ ጠቃሚነት ተግባሮቹ ውጤት ያላቸውን ስራዎች በሚያንፀባርቁ ፣ስኬታማነታቸው ትርጉም ባለው ውጤት መመዘኑ እና ማመሳከሪያው ወጪዎችን፣ መዘግየቶችን፣ ቁጥጥርን እና ስህተቶችን መያዙ ላይ ይወሰናል። እነዚህ ዝርዝሮች ከሌሉ DuMateBench እንደ ሪፖርት የመለኪያ ተነሳሽነት መረዳት አለበት እንጂ AI ወኪሎች አስተማማኝ የስራ ቦታ ተግባራትን ለመፈፀም ዝግጁ መሆናቸውን የሚያሳይ ማረጋገጫ አይደለም።
በይነተገናኝ ሜካኒዝም፡ በትክክል እንዴት እንደሚሰራ
ከዚህ ልማት በስተጀርባ ያለውን ቴክኖሎጂ በይነተገናኝ ያስሱ።
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
ቀጥሎ ምን እንደሚታይ
ማዕከላዊ ጥያቄዎች አሁንም ከምንጩ አልተመለሱም። DuMateBench በይፋ ተደራሽ መሆን አለመሆኑ፣ ስድስቱ ምድቦች እንዴት እንደተገለጹ፣ እንደ ስኬታማ ማድረስ ምን ይቆጠራል፣ የሰው ግምገማ እንዴት ጥቅም ላይ እንደሚውል፣ ወይም የትኞቹ ሞዴሎች እና ወኪሎች እንደተገመገሙ በግል አልተረጋገጠም። የወደፊት ሪፖርት ማድረግ ወይም የመጀመሪያ ደረጃ ሰነዶች የቤንችማርክ የውጤት ደንቦችን፣ የተግባር ምርጫ ሂደትን፣ ከመጠን በላይ መገጣጠምን የሚከላከሉ እና በስርዓቶች ውስጥ ያሉ ውጤቶችን ግልጽ ማድረግ አለባቸው። እንዲሁም በ DuMateBench ላይ ያለው አፈጻጸም ከቤንችማርክ ውጭ አስተማማኝ ስራ እንደሚተነብይ ማየት አስፈላጊ ይሆናል።
መታየት ያለበት የመጀመሪያው እትም ይፋዊ ማረጋገጫ ነው። ምንጩ የTechNode ዘገባ ነው እና ዋና የBaidu ማስታወቂያ፣ የቤንችማርክ ሰነድ አገናኝ፣ የተግባር ማከማቻ ወይም የህዝብ መሪ ሰሌዳን አያካትትም። ስለዚህ ሁሉም የተዘገቡት አካላት እንደተገለጹት መገኘታቸው በገለልተኛነት እዚህ አልተረጋገጠም። ዋና ማቴሪያሎች የሚጀመሩበትን ቀን፣ የመዳረሻ ሁኔታዎችን፣ ፈቃድን፣ ተሳታፊ ስርዓቶችን እና የውጭ ተመራማሪዎች ግምገማዎችን ማባዛት ይችሉ እንደሆነ መወሰን አለባቸው።
ሁለተኛው ጉዳይ ዘዴ ነው. የወደፊት ሰነዶች ስድስቱን ምድቦች መለየት, የተወካይ ስራዎችን ማቅረብ እና የተግባር ግንዛቤን, የመሳሪያ አጠቃቀምን, ቀጣይነት ያለው አፈፃፀም እና የመጨረሻ ውጤት አሰጣጥ እንዴት እንደሚመዘኑ ያብራሩ. እንዲሁም ውጤቶቹ በራስ-ሰር፣ በሰዎች ወይም በተጣመሩ ዘዴዎች የሚዳኙ መሆናቸውን ግልጽ ማድረግ አለበት። ንጽጽሮችን በትክክል ለመተርጎም ስለ የጊዜ ገደቦች፣ የመሳሪያ ፈቃዶች፣ የብልሽት አያያዝ፣ ግላዊነት፣ የውሂብ ማረጋገጫ እና ተደጋጋሚ ሙከራዎች ዝርዝሮች ያስፈልጋሉ። ምንጩ ከዚህ መረጃ ምንም አይሰጥም።
ሦስተኛው ጉዳይ የቤንችማርክ አፈጻጸም ወደ እውነተኛ አጠቃቀም መሸጋገሩ ነው። ወኪሎች ለታወቁ የተግባር ቅርጸቶች ሊመቻቹ ይችላሉ፣ እና የመሪዎች ሰሌዳው የሙከራ ስብስቡ ወይም የግምገማ ደንቦቹ ሊገመቱ የሚችሉ ከሆኑ ጠባብ ስልቶችን ይሸልማል። በተያዙ ተግባራት፣ የተለያዩ የሶፍትዌር አካባቢዎች እና የተለያዩ የሰው ቁጥጥር ደረጃዎች ላይ ገለልተኛ ሙከራ DuMateBench ሰፋ ያለ አስተማማኝነትን ይለካ እንደሆነ ለማወቅ ይረዳል። ውጤቶች እና ዘዴው እስኪገኙ ድረስ፣ በጣም ተከላካይ የሆነው መደምደሚያ Baidu በወኪል አፈጻጸም ላይ ያማከለ መለኪያን እንዳቀረበ ነው የተዘገበው፣ የቤንችማርክ ተግባራዊ ጠቀሜታ ግን አሁንም መታየት አለበት።