በምርጫ ማመቻቸት መመሪያ ውስጥ የርዝማኔ መደበኛነት

አጠቃላይ እይታ

It matters because uncorrected reward signals push chatbots toward verbose, padded responses instead of genuinely better ones.

ጥልቅ ዳይቭ

ሞዴሎች እንደ RLHF ወይም DPO ካሉ ዘዴዎች ጋር ሲጣጣሙ፣ ሰዎች (ወይም የሽልማት ሞዴል) ከሁለቱ መልሶች 'የተሻለ' ከመረጡበት ንጽጽር ይማራሉ። ቀጣይነት ያለው ስህተት ረዘም ያለ መልሶች በትክክል የተሻሉ ባይሆኑም ተመራጭ ይሆናሉ፣ ስለዚህ ሞዴሉ አቋራጩን ይማራል፡ በቃላት ይናገሩ። የርዝማኔ መደበኛነት ይህንን ይቃወማል. በDPO ውስጥ ስውር ሽልማቱ በሜካኒካል ከርዝመት ጋር የሚያድግ የየቶክ ሎግ-ይቻላል ልዩነቶች ድምር ነው። እንደ ረጅም-መደበኛ DPO እና SimPO ያሉ ተለዋዋጮች ሽልማቱን በቶከኖች ብዛት ያካፍላሉ፣ በምትኩ በአንድ ማስመሰያ አማካኝ ያስመዘገቡ። ውጤቱም ለጨዋታው አላማ ምላሾችን ከመጨመር ይልቅ አጭር እና በነጥብ ላይ የሚቆዩ ሞዴሎች ናቸው።

ቴክኒካዊ ግንዛቤ

የDPO ስውር ሽልማት በተስተካከሉ እና በማጣቀሻ ፖሊሲዎች መካከል ያለው የምዝግብ ማስታወሻ ሬሾ ነው፣ በምላሹ ውስጥ ባሉት እያንዳንዱ ምልክቶች ላይ ተደምሮ። እያንዳንዱ ማስመሰያ ሌላ (በተለምዶ አወንታዊ) ቃል ስለሚጨምር፣ ጥሬው የሽልማት ሚዛኖች በቅደም ተከተል ርዝመት፣ ወደ ረጅም ማጠናቀቂያዎች አድልዎ ማመቻቸት። ሲምፖ የማመሳከሪያ ሞዴሉን ይጥላል እና አማካኝ የምዝግብ ማስታወሻ ፕሮባቢሊቲ በአንድ ማስመሰያ እንደ ሽልማቱ እና እንዲሁም የታለመ የሽልማት ህዳግ ይጠቀማል። በርዝመት መከፋፈል የሜካኒካል ርዝማኔን ጥቅም ያስወግዳል፣ ስለዚህ ተመራጭ ቅልመት ከቃላት ብዛት ይልቅ ጥራትን ያንፀባርቃል።

ስልታዊ ተጽእኖ

ግልጽ ውሳኔዎች

ግልጽ ቴክኒካዊ የይገባኛል ጥያቄዎችን ከገበያ ቋንቋ እንዲለዩ ያግዝዎታል።

ወጪ እና በጀት

ገንዘብን ወይም ጊዜን ከማጥፋትዎ በፊት የተሻሉ የትግበራ ጥያቄዎችን መጠየቅ ይችላሉ።

ቡድን እና የስራ ፍሰት

የጋራ ግንዛቤ ያላቸው ቡድኖች የተሻለ ምርት፣ ፖሊሲ እና የመማር ውሳኔዎችን ያደርጋሉ።

የወደፊት የርዝመት መደበኛነት በምርጫ ማመቻቸት

የርዝመት መቆጣጠሪያ ከኋላ ሀሳብ ይልቅ መደበኛ እንቡጥ እንዲሆን ይጠብቁ። ተመራማሪዎች የርዝማኔን መደበኛነት ከግልጽ የርዝማኔ ቅጣቶች፣ የረጅም ጊዜ ሽልማቶች እና የግምገማ ስብስቦች እውነተኛ የጥራት ግኝቶችን ለመለካት የመልስ ርዝማኔን በቋሚነት በማጣመር ላይ ናቸው። የሽልማት ሞዴሎች የቃል አድልኦን በመለየት ረገድ እየተሻሻሉ ሲሄዱ፣ የአሰላለፍ ቧንቧዎች የረጅም ጊዜ የማሸነፍ ዋጋዎችን በነባሪነት ሪፖርት ሊያደርጉ ይችላሉ፣ እና ተጠቃሚዎች የአንድን ሞዴል መልሶች ምን ያህል መጠነኛ ወይም ዝርዝር መሆን እንዳለባቸው ላይ የተሻለ ቁጥጥር ያገኛሉ።

የእውነተኛ-ዓለም አተገባበር

የደንበኛ ድጋፍ ሰጪ ረዳትን በሲምፖ ማስተካከል ብቻ በጥልቀት ከሚመስሉ አንቀጾች ይልቅ ጥርት ያሉ ትክክለኛ ምላሾችን ይሰጣል።

በ AlpacaEval 2 ላይ 'በርዝመት ቁጥጥር የሚደረግበት የአሸናፊነት መጠን' ሪፖርት በማድረግ ሞዴልን በእውነት የተሻሻለ ውይይት ከማድረግ ይልቅ።

የኮዲንግ ሞዴል በጥሩ ሁኔታ ሲስተካከል ወደ DPO የርዝማኔ መደበኛነት መጨመር አነስተኛ ትክክለኛ ቅንጥቦችን ይመልሳል እንጂ የተበሳጨ ቦይለር አይደለም።

ረጃጅም ድርሰቶችን በዘዴ ከፍ ያለ ውጤት የሚያስገኝ የሽልማት ሞዴልን መመርመር እና የፅሁፍ ረዳትን ለማስተካከል ከመጠቀምዎ በፊት ማጉደል።

አደጋዎች እና የጥበቃ መንገዶች

የተለያዩ ቡድኖች ተመሳሳይ ቃል በተለያየ መንገድ ሊጠቀሙ ይችላሉ፣ ስለዚህ ወሰንን ቀደም ብለው ይግለጹ።

የገሃዱ ዓለም አፈጻጸም ያልተስተካከለ ሆኖ ሳለ ማመሳከሪያዎች ጠንካራ ሊመስሉ ይችላሉ።

የውሂብ ጥራት እና የግምገማ እቅዶችን ችላ ማለት ብዙውን ጊዜ ደካማ ውጤቶችን ይፈጥራል.

የትግበራ ፍኖተ ካርታ

የሚፈልጉትን ውጤት በግልፅ ቋንቋ ትርጉም ይጀምሩ።

ከመሞከርዎ በፊት አንድ የስኬት መለኪያ እና አንድ የውድቀት ሁኔታ ይምረጡ።

አንድ ትንሽ አብራሪ በተወካይ ውሂብ ያሂዱ እንጂ የተጣራ ማሳያ ስብስብ አይደለም።

በምርጫ ማመቻቸት ውስጥ የርዝማኔ መደበኛነት የሚረዳበት እና ቀላል ዘዴዎች የተሻሉበት ሰነድ።

ማሰስዎን ይቀጥሉ

AI ምንድን ነው?

በጥልቀት ከመጥለቅዎ በፊት አስፈላጊ ጽንሰ-ሀሳቦችን ያግኙ።

መመሪያ ያንብቡ

AI እንዴት እንደሚማር

ከዘመናዊ ስርዓቶች በስተጀርባ ያለውን የስልጠና ሂደት ይረዱ.

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Length Normalization in Preference Optimization quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የዕድል መጠን ምርጫ ማመቻቸት

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Length Normalization in Preference Optimization?

የርዝማኔ መደበኛነት ምርጫን ማስተካከል አላማዎችን ያስተካክላል ስለዚህ ሞዴሎች ረዘም ያለ መልሶችን በመፃፍ ብቻ ማፅደቅ ያቆማሉ። አስፈላጊ ነው ምክንያቱም ያልተስተካከሉ የሽልማት ምልክቶች ቻትቦቶችን ወደ ቃላቶች፣ ወደተሸፈኑ ምላሾች ከእውነተኛ የተሻሉ ይልቅ ስለሚገፉ ነው።

በDPO ውስጥ የርዝማኔ መደበኛነት በዋነኛነት ለመከላከል ምን ዓይነት የማይፈለግ ባህሪ አለው?

የDPO ስውር ሽልማት ከቶከኖች ብዛት ጋር ያድጋል፣ስለዚህ ያለ መደበኛነት ሞዴሎች የበለጠ የቃል ንግግር መሆን የምርጫ ንጽጽሮችን እንደሚያሸንፍ ይወቁ።

ለምንድነው መደበኛ የDPO ስውር ሽልማት በምላሽ ርዝመት የመጨመር አዝማሚያ ያለው?

ስውር ሽልማቱ በእያንዳንዱ ቶከን ላይ የምዝግብ ማስታወሻ-ይሁንታ ሬሾን ያጠቃልላል፣ ስለዚህ ተጨማሪ ቶከኖች በአጠቃላይ ትልቅ ጠቅላላ ሽልማት ማለት ነው።

ሲምፖ የርዝመት አድሏዊነትን እንዴት ይመለከታል?

ሲምፒኦ ምላሾችን በአማካኝ (ርዝመት-መደበኛ) ምዝግብ ማስታወሻ-ይሆናል እና የሜካኒካል ርዝመት ጥቅሙን በማስወገድ የታለመ የሽልማት ህዳግ ይጨምራል።

የትኛውን የግምገማ ልምምድ ሞዴል ከርዝመት ይልቅ በጥራት መሻሻልን ለማረጋገጥ ይረዳል?

በርዝመት ቁጥጥር የሚደረግበት የአሸናፊነት መጠን (እንደ AlpacaEval 2) የመልስ ርዝመትን ያስተካክላል ስለዚህ ትርፉ ጥራትን እንጂ ቃልን አያንጸባርቅም።