LLM-እንደ-ዳኛ መመሪያ

አጠቃላይ እይታ

ቡድኖች ጥያቄዎችን እና ሞዴሎችን በመጠን እንዲሞክሩ ያስችላቸዋል፣ ነገር ግን ቁጥጥር ሊደረግባቸው የሚገቡ እውነተኛ አድሎአዊ ጉዳዮችን ይይዛል።

ጥልቅ ዳይቭ

ክፍት የሆነ ጽሑፍን መገምገም ከባድ ነው፡ አንድ ትክክለኛ መልስ እምብዛም የለም፣ እና በሺዎች የሚቆጠሩ ምላሾችን ለመመዘን ሰዎችን መቅጠር አዝጋሚ እና ውድ ነው። LLM-እንደ-ዳኛ ይህን የሚፈታው ብቃት ያለው ሞዴል እንደ ገምጋሚ እንዲሰራ በመጠየቅ ነው። አንድ ነጠላ መልስ ከአንድ ሩሪክ (ነጥብ ትክክለኛ ነጥብ መስጠት) ወይም ከሁለት መልሶች የተሻለውን መምረጥ ይችላል (ጥምር ንጽጽር)። ይህ አውቶማቲክ ማመሳከሪያዎችን፣ ለፈጣን ለውጦች የመመለሻ ሙከራዎችን እና ለስልጠና ትልቅ ምርጫ ውሂብን ያጎለብታል። የሚይዘው ዳኞች በደንብ የተመዘገቡ አድሎአዊ ጉዳዮች ስላላቸው ነው፡ ረጅም መልሶችን ይደግፋሉ፣ ከራሳቸው የአጻጻፍ ስልት ጋር የሚጣጣሙ ምላሾችን ይመርጣሉ እና አማራጮች በሚቀርቡበት ቅደም ተከተል ሊወዛወዙ ይችላሉ። ከባድ ግምገማዎች እነዚህን በነሲብ የተቀመጡ አቀማመጦች፣ ግልጽ ቃላቶች እና በየጊዜው በሰዎች ደረጃ ላይ በሚደረጉ ፍተሻዎች ላይ ዳኛው ተስማምተው መቆየታቸውን ለማረጋገጥ ነው።

ቴክኒካዊ ግንዛቤ

አንድ ዳኛ ጥያቄውን፣ የእጩውን መልስ(ዎች) እና ግልጽ የውጤት መስፈርቶቹን ያቀርባል፣ ከዚያም ነጥብ እና ማረጋገጫ ይጠይቃል፣ ብዙ ጊዜ እንደ የተዋቀረው JSON። ነጥብ ከማስመዝገቡ በፊት ዳኛው እንዲያመዛዝን መጠየቅ (የሃሳብ ሰንሰለት) አስተማማኝነትን ያሻሽላል። የቦታ አድልኦን በጥንድ አቅጣጫ ለመዋጋት ገምጋሚዎች እያንዳንዱን ንፅፅር ሁለት ጊዜ በትእዛዙ መለዋወጥ ያካሂዳሉ እና ስምምነቶችን ብቻ ይቆጥራሉ። በሰው ከተሰየመ የወርቅ ስብስብ አንጻር ዳኛው የሰውን ምርጫ ምን ያህል እንደሚከታተል ይለካል።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።

መድረስ እና መድረስ

በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።

ግልጽ ውሳኔዎች

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።

የኤልኤልኤም-እንደ-ዳኛ የወደፊት

ዳኞች ድምጽ ወደሚሰጡ የብዙ ሞዴሎች ፓነሎች እየሄዱ ነው፣ የትኛውንም ነጠላ ሞዴል ፈሊጣዊ አመለካከቶችን በመቀነስ እና በተለይ ደረጃ ለመስጠት ወደ ሰለጠኑ ልዩ የተስተካከሉ ገምጋሚዎች። እያንዳንዱ ጥያቄ ወይም የሞዴል ለውጥ ከመለቀቁ በፊት በራስ-ሰር እንዲመዘገብ ወደ ተከታታይ ግምገማ ቧንቧዎች ጥብቅ ውህደትን ይጠብቁ። ጥናቶች ዳኞችን የበለጠ ለጨዋታ እንዲያደርጉ እና ዳኛው እርግጠኛ ያልሆነበትን ጊዜ በመለየት ላይ ነው ስለዚህ የሰው ልጅ በራስ ሰር የደረጃ አሰጣጥ አነስተኛ እምነት በሚጣልበት ቦታ በትክክል ሊታለፍ ይችላል።

የእውነተኛ-ዓለም አተገባበር

የትኛውን መርከብ እንደሚወስን ለመወሰን የቻትቦት መጠየቂያ ሁለት ስሪቶችን በራስ-ሰር በማስመዝገብ ላይ

የደረጃ አሰጣጥ ሞዴል ውጤቶች ከ AI ግብረ ማጠናከሪያ ትምህርትን ለማጎልበት የምርጫ ውሂብ ስብስቦችን ለመገንባት

የአምሳያ ማሻሻያ የመልስ ጥራትን ሲቀንስ በምሽት ማገገምን ይፈትሻል

የደረጃ አሰጣጥ ማጠቃለያዎች ለትክክለኛ ትክክለኛነት እና ሙሉነት ከቁጥር አንጻር ሚዛን

አደጋዎች እና የጥበቃ መንገዶች

የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።

ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።

የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።

የትግበራ ፍኖተ ካርታ

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።

ማሰስዎን ይቀጥሉ

ChatGPT እና LLMs

የዘመናዊ ቋንቋ ሞዴሎች እንዴት እንደሚያመነጩ እና እንደሚያስቡ ይመልከቱ።

መመሪያ ያንብቡ

NLP መሰረታዊ ነገሮች

ከእነዚህ መሳሪያዎች በስተጀርባ ያለውን የቋንቋ ማቀናበሪያ መሰረታዊ ነገሮችን ይማሩ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the LLM-as-a-Judge quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

LLM ግምገማዎች

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

LLM-እንደ-ዳኛ ምንድን ነው?

ኤልኤልኤም-እንደ-ዳኛ የአንድን የቋንቋ ሞዴል ይጠቀማል የሌላውን ውጤት ለማስቆጠር ወይም ለማነፃፀር፣የሰው ደረጃዎችን የሚፈልግ የጥራት ግምገማን በራስ ሰር ያደርጋል። ቡድኖች ጥያቄዎችን እና ሞዴሎችን በመጠን እንዲሞክሩ ያስችላቸዋል፣ ነገር ግን ቁጥጥር ሊደረግባቸው የሚገቡ እውነተኛ አድሎአዊ ድርጊቶችን ይይዛል።

'LLM-እንደ-ዳኛ' ምንን ያመለክታል?

LLM-እንደ-ዳኛ የሌሎች ሞዴሎች ምላሾችን እንደ አውቶሜትድ ገምጋሚ ይጠቀማል።

በነጥብ እና በጥንድ መንገድ መፍረድ መካከል ያለው ልዩነት ምንድን ነው?

ነጥብ-ተኮር የውጤት አሰጣጥ በአንድ ጽሑፍ ላይ አንድ ነጠላ መልስ ይሰጣል፣በጥንድ አቅጣጫ ንፅፅር ግን ከሁለት እጩዎች የተሻለውን ይመርጣል።

ከእነዚህ ውስጥ በኤልኤልኤም ዳኞች ውስጥ በደንብ የተመዘገበ አድልዎ የትኛው ነው?

ዳኞች የረዘመ ምላሾችን እና ከራሳቸው ዘይቤ ጋር የሚዛመዱትን ይመርጣሉ፣ በተጨባጭ የተሻሉ ባይሆኑም እንኳ።

ገምጋሚዎች በተለምዶ በጥንድ ንፅፅር አድልዎ እንዴት ይቃወማሉ?

ትዕዛዙን መለዋወጥ እና ወጥ የሆነ ውጤት ብቻ መቁጠር የዳኛውን ቦታ የመደገፍ ዝንባሌን ያስወግዳል።

ለምንድነው ዳኛ ከማስቆጠሩ በፊት እንዲያመዛዝን መጠየቅ ብዙ ጊዜ የሚረዳው?

ነጥብ ከመስጠቱ በፊት ዳኛውን ደረጃ በደረጃ እንዲያመዛዝን መጠየቁ በአጠቃላይ የበለጠ አስተማማኝ ግምገማዎችን ይሰጣል።