የሎጊት አድልዎ መመሪያ

አጠቃላይ እይታ

It is a lightweight way to ban words, force choices, or shape style without retraining anything.

ጥልቅ ዳይቭ

አንድ ሞዴል ቀጣዩን ማስመሰያ ከመምረጡ በፊት፣ በቃላት ዝርዝሩ ውስጥ ላለው እያንዳንዱ ማስመሰያ ሎጊት (ያልተለመደ ውጤት) ይፈጥራል። የሎጊት አድልዎ በተመረጡት ቶከኖች በቁጥር ማስመሰያ መታወቂያቸው ላይ ቋሚ እሴት እንዲያክሉ ያስችልዎታል። አንድ ትልቅ አዎንታዊ አድሎአዊነት አንድ ማስመሰያ እጅግ የበለጠ ዕድል ናሙና ይሆናል; ትልቅ አሉታዊ አድልዎ (ብዙውን ጊዜ -100 በ APIs) በትክክል ይከለክላል። ማስተካከያው የሚከሰተው ከSoftmax በፊት ሲሆን ውጤቱን ወደ ፕሮባቢሊቲነት ከሚቀይረው፣ መጠነኛ አድሎአዊ ድርጊቶች እንኳን ስርጭቱን ትርጉም ባለው መልኩ ይለውጣሉ። በወሳኝ መልኩ፣ አድልዎ ቁልፍ የሆነው ቶከን መታወቂያዎች እንጂ ሙሉ ቃላቶች አይደሉም - ስለዚህ ባለ ብዙ ማስመሰያ ቃል ሙሉ ለሙሉ ለማፈን ወይም ለማስተዋወቅ እያንዳንዱን ክፍሎቹን በአድሎ ሊፈልገው ይችላል። ምንም ጥሩ ማስተካከያ የማይፈልግ እና በጥያቄ የሚተገበር ፈጣን፣ የቀዶ ጥገና ቁጥጥር ነው።

ቴክኒካዊ ግንዛቤ

ሎጊቶች እውነተኛ ዋጋ ያላቸው ውጤቶች ናቸው; softmax ያብራራቸዋል፣ ስለዚህ +5ን ወደ ማስመሰያ ማከል ከመደበኛነት በፊት ያልተለመደ ክብደቱን በ e^5 (~148x) ያበዛል። መጨመር -100 የድህረ-softmax ዕድሉን ወደ ዜሮ ይገፋፋል። ማስመሰያዎች ንዑስ ቃል አሃዶችን ስለሚጠቀሙ፣ 'ደስተኛ ያልሆነ' የሚለው ቃል ሁለት ምልክቶች ሊሆን ይችላል። የመጀመሪያውን ክፍል ብቻ ማዳላት ሙሉ በሙሉ አይቆጣጠረውም። ሰዎች አንድን የተወሰነ ቃል ለመከልከል ሲሞክሩ እና አሁንም በከፊል በሚፈስበት ጊዜ ያ ንዑስ ቃላቶች ዋና ግቤት ነው።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።

መድረስ እና መድረስ

በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።

ግልጽ ውሳኔዎች

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።

የሎጊት አድልኦ የወደፊት ዕጣ

የሎጊት አድሎአዊነት ለፈጣን መሪነት ዋና ነገር ሆኖ ይቆያል፣ነገር ግን የበለፀጉ አማራጮች እያደጉ ናቸው፡የተዋቀረ/የተገደበ ለጠንካራ ዋስትናዎች ዲኮዲንግ፣እና የማግበር መሪ ወይም የውክልና ምህንድስና የውጤት ውጤቶች ብቻ ሳይሆን የሞዴሉን ውስጣዊ ቬክተር የሚያጎናጽፍ ነው። ከፍተኛ ደረጃ ቁጥጥሮችን - የተከለከሉ ሀረጎችን፣ የቅጥ መመሪያዎችን፣ የደህንነት ማጣሪያዎችን - ገንቢዎች ስለ ጥሬ ማስመሰያ መታወቂያዎች ምክንያት እንዳይሆኑ በራስ ሰር ማስመሰያ የሚይዙ ኤፒአይዎች የሎግ አድሎአዊነትን እንደ ቀላል የማምለጫ መንገድ እንዲጠብቁ ይጠብቁ።

የእውነተኛ-ዓለም አተገባበር

አንድ ቻትቦት አንዳንድ ቃላትን እንዳይፈጥር ለመከላከል የ -100 አድልዎ በብልግና ምልክቶች ላይ ማዘጋጀት።

ለ'አዎ' እና "አይ" ቶከኖች ጠንካራ አወንታዊ አድልዎ በመስጠት እና ሁሉንም ነገር በማፈን አዎ/አይ ክላሲፋየር ማስገደድ።

ከመጠን በላይ ጥቅም ላይ የዋለ ሀረግ ወይም መሙያ ቃልን ማስፈራራት መጠነኛ የሆነ አሉታዊ አድልኦን በቶከኖቹ ላይ በመተግበር።

ጎራ-ተኮር ቃላትን (እንደ የምርት ስም) ማሳደግ ስለዚህ ማጠቃለያ በአስተማማኝ ሁኔታ ይጠቅሳቸዋል።

አደጋዎች እና የጥበቃ መንገዶች

የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።

ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።

የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።

የትግበራ ፍኖተ ካርታ

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።

ማሰስዎን ይቀጥሉ

ChatGPT እና LLMs

የዘመናዊ ቋንቋ ሞዴሎች እንዴት እንደሚያመነጩ እና እንደሚያስቡ ይመልከቱ።

መመሪያ ያንብቡ

NLP መሰረታዊ ነገሮች

ከእነዚህ መሳሪያዎች በስተጀርባ ያለውን የቋንቋ ማቀናበሪያ መሰረታዊ ነገሮችን ይማሩ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Logit Bias quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

አሊቢ አቀማመጥ አድልዎ

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Logit Bias?

ሎጊት አድሎአዊነት ሞዴሉ ቀጣዩን ቃል ከመምረጡ በፊት የተወሰነ ቁጥር በመጨመር ውጤታቸው ላይ የተወሰነ ቁጥር በመጨመር የቋንቋን ሞዴል ወደ ወይም ከተወሰኑ ቶከኖች የሚያራግፍ ኖብ ነው። ምንም ነገር ሳይለማመዱ ቃላትን ለመከልከል፣ ምርጫዎችን ለማስገደድ ወይም ዘይቤን ለመቅረጽ ቀላል ክብደት ያለው መንገድ ነው።

ሎጊት አድልዎ ምንን ይቀይራል?

የሎጊት አድሎአዊነት በተመረጡት የማስመሰያ መታወቂያዎች ሎጅቶች ላይ የማያቋርጥ ይጨምራል፣ ሞዴሉን ራሱ ሳይለውጥ ምን ያህል የመመረጥ እድላቸውን ይቀይራል።

በብዙ ኤፒአይዎች፣ ማስመሰያ ላይ የ -100 ሎጊት አድልዎ ምን ያከናውናል?

እንደ -100 ያለ ትልቅ አሉታዊ አድልዎ የማስመሰያውን የድህረ-softmax ፕሮባቢሊቲ ወደ ዜሮ ይመራዋል፣ ስለዚህ በጭራሽ አልተሰራም።

ለምንድነው የሎግት አድልዎ ያለበትን ቃል መከልከል አንዳንድ ጊዜ ከፊል ውፅዓት ሊያወጣ የሚችለው?

ማስመሰያዎች ብዙ ቃላትን ወደ ብዙ ንዑስ ቃል ቶከኖች ይከፍላሉ፣ ስለዚህ የመጀመሪያውን ክፍል ብቻ ማዳላት ሙሉ ቃሉን ማፈን አልቻለም።

የሎጊት አድልዎ ለየትኛው መለያ ቁልፍ ነው?

የአድሎአዊ እሴቶች ከቶከናይዘር መዝገበ-ቃላት በተወሰኑ የማስመሰያ መታወቂያዎች ላይ ይተገበራሉ፣ለዚህም ነው የአንድ ቃል ቁርጥራጭ መታወቂያዎችን ማወቅ ያለብዎት።

ሎጅቶች በሶፍትማክስ ውስጥ ስለሚተላለፉ፣ አወንታዊ አድልዎ መጨመር ምን ውጤት አለው?

Softmax ሎጅቶችን ያሰፋዋል፣ስለዚህ መጠነኛ የሆነ አዎንታዊ አድሎአዊነት እንኳን የቶከንን ያልተለመደ ክብደት በከፍተኛ ሁኔታ ያበዛል፣ ይህም ዕድሉን በከፍተኛ ሁኔታ ያሳድጋል።