የንፅፅር ዲኮዲንግ መመሪያ

አጠቃላይ እይታ

It amplifies what the expert knows and the amateur misses, reducing repetition and bland output.

ጥልቅ ዳይቭ

የቋንቋ ሞዴል የሚቀጥለውን ቃል ሲመርጥ በቃላቱ ላይ ዕድል ይፈጥራል። ንፅፅር ዲኮዲንግ (በሊ እና ሌሎች በ2022 አስተዋውቋል) ሁለት ሞዴሎችን በተመሳሳይ አውድ ይሰራል፡ ትልቅ 'ባለሙያ' እና ትንሽ 'አማተር'። የባለሙያውን ጥሬ እድሎች ከመተማመን ይልቅ የእያንዳንዱን እጩ ማስመሰያ በኤክስፐርት ሎግ ፕሮባቢሊቲ እና በአማተር መካከል ባለው ልዩነት ያስመዘግባል። ማስመሰያዎች ባለሙያው ይደግፋሉ ነገር ግን አማተር አይበረታም; አጠቃላይ ቃላቶች ሁለቱም ሞዴሎች የሚወዷቸው (እንደ 'የ' ወይም ተደጋጋሚ ሀረጎች) አማተር ስለሚወዳቸው ይታፈናል። የአሳማኝነት ማጣሪያ በመጀመሪያ ኤክስፐርቱ በጣም የማይመስል ነገር ነው ብሎ ያመነባቸውን ምልክቶች ያስወግዳል፣ ስለዚህ ንፅፅሩ እርባናቢስነትን በጭራሽ አያበረታታም። ውጤቱ ከስግብግብነት ወይም ከኒውክሊየስ ናሙና የበለጠ አቀላጥፎ፣ ወጥነት ያለው እና ብዙም የማይደጋገም የረጅም ጊዜ ጽሁፍ ነው፣ ምንም ተጨማሪ ስልጠና አያስፈልግም።

ቴክኒካዊ ግንዛቤ

ዋናው ነጥብ ሎግ p_expert (ቶከን) ከ Coefficient times log p_amateur(token) ሲቀነስ ነው። አማተር የባለሙያውን ስልታዊ ስሕተቶች ስለሚጋራ (ለከፍተኛ ድግግሞሽ ቶከኖች፣ ሎፒንግ፣ የተበላሸ ድግግሞሽ) ስለሚጋራ፣ የሎግ ፕሮባቢሊቲዎቹን መቀነስ እውነተኛ የባለሙያዎችን እውቀት በመጠበቅ እነዚያን የጋራ ውድቀት ሁነታዎች ይሰርዛል። የሚለምደዉ የአሳማኝነት ገደብ ቶከኖችን ብቻ ከከፍተኛ ኤክስፐርት ፕሮባቢሊቲ ክፍልፋይ (አልፋ) በላይ ያስቀምጣቸዋል፣ ይህም ንፅፅሩ ብርቅዬ፣ የማይጣጣሙ ቃላትን ከማጉላት ይከላከላል።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።

መድረስ እና መድረስ

በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።

ግልጽ ውሳኔዎች

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።

የንፅፅር ዲኮዲንግ የወደፊት ዕጣ

ንፅፅር ዲኮዲንግ DoLaን ጨምሮ (የአምሳያው የራሱ ቀደምት እና ዘግይተው ካሉ ንብርብሮች ጋር በማነፃፀር) እና ከሰነድ ጋር የሚቃረኑ እና ከሌላቸው ሰነዶች ጋር የሚቃረኑ የንፅፅር ዲኮዲንግ ቤተሰብን 'በግምት ንፅፅር' አነሳስቷል። የበለጠ ጥብቅ ውህደትን ከማስመለስ፣ ከእውነታ አሰጣጥ እና ከአነስተኛ-አማተር ዲስትሪንግ እና ከግምታዊ ዲኮዲንግ ጋር በማጣመር አማተር ጥራቱን እንዲመራ እና በአንድ ጊዜ ትውልድን ያፋጥናል።

የእውነተኛ-ዓለም አተገባበር

የኒውክሊየስ ናሙና ወደ ዑደቶች የሚንሸራተት ረጅም፣ ተደጋጋሚ ያልሆነ ታሪክ ወይም አንቀጽ ማፍለቅ

የ65ቢ ኤክስፐርትን ከ1.5ቢ አማተር ጋር በማጣመር ያለ ጥሩ ማስተካከያ ክፍት ትውልድን ለማሻሻል

በማጠቃለያ እና በውይይት ውጤቶች ውስጥ የተበላሸ ድግግሞሽን መቀነስ

የእውነታ ቅዠቶችን ዝቅ ለማድረግ ለDoLa-style ራስን ንፅፅር መሰረት ሆኖ ማገልገል

አደጋዎች እና የጥበቃ መንገዶች

የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።

ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።

የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።

የትግበራ ፍኖተ ካርታ

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።

ማሰስዎን ይቀጥሉ

ChatGPT እና LLMs

የዘመናዊ ቋንቋ ሞዴሎች እንዴት እንደሚያመነጩ እና እንደሚያስቡ ይመልከቱ።

መመሪያ ያንብቡ

NLP መሰረታዊ ነገሮች

ከእነዚህ መሳሪያዎች በስተጀርባ ያለውን የቋንቋ ማቀናበሪያ መሰረታዊ ነገሮችን ይማሩ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Contrastive Decoding quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

ዝቅተኛው የቤይስ ስጋት መፍታት

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Contrastive Decoding?

ንፅፅር መፍታት የአንድን ትንሽ ደካማ የቋንቋ ሞዴል ከትልቅ እና ጠንካራ ከሆኑት በመቀነስ ከፍተኛ ጥራት ያለው ጽሑፍ ያመነጫል። ኤክስፐርቱ የሚያውቀውን ያጎላል እና አማተር ያመለጠውን, ድግግሞሹን እና ያልተጣራ ውጤትን ይቀንሳል.

በንፅፅር ዲኮዲንግ ውስጥ ትንሹ 'አማተር' ሞዴል ምን ሚና ይጫወታል?

ሁለቱም ሞዴሎች የሚጋሯቸውን ስልታዊ ስህተቶች (እንደ ተደጋጋሚ ማስመሰያዎች) በመሰረዝ የአማተር ሎግ - ፕሮባቢሊቲዎች ከባለሙያው ተቀንሰዋል።

ለምንድነው የአማተርን እድሎች መቀነስ ድግግሞሹን እና ባዶ ውጤትን የሚቀንሰው?

ሁለቱም ሞዴሎች ከፍተኛ ድግግሞሽ እና ተደጋጋሚ ምልክቶችን ከመጠን በላይ ይመርጣሉ; አማተርን መቀነስ ያንን የጋራ አድልዎ ያስወግዳል፣ መጥፎ ምርጫዎችን ዝቅ ያደርጋል።

የማስተካከያ አሳማኝነት ገደብ ምን ያደርጋል?

የአሳማኝነት ማጣሪያው በባለሞያው ስር ዝቅተኛ ሊሆኑ የሚችሉ ምልክቶችን ያስወግዳል, ስለዚህ ንፅፅሩ የማይጣጣሙ ወይም የማይረቡ ቃላትን ማስተዋወቅ አይችልም.

በንፅፅር መፍታት ውስጥ ያለው የውጤት ቀመር ምን ያህል ነው?

እያንዳንዱ እጩ እንደ ኤክስፐርቱ ሎግ-ይሆናልነት የተመዘነ አማተር ሎግ-መቻልን ሲቀንስ ልዩ ባለሙያተኛው የሚመርጠውን የሚሸልሙ ምልክቶችን ይሰጣል።

የንፅፅር ሀሳቡን ወደ ነጠላ ሞዴል የራሱ ንብርብሮች የሚያራዝመው የትኛው ዘዴ ነው?

ዶላ የአምሳያውን ያለጊዜው (ቀደምት-ንብርብር) እና ብስለት (ዘግይቶ-ንብርብር) ትንበያዎችን በማነፃፀር ቅዠትን ለመቀነስ፣ የንፅፅር ጽንሰ-ሀሳቡን በአንድ ሞዴል ውስጥ ተግባራዊ ያደርጋል።