የሙቀት እና ናሙና መመሪያ

አጠቃላይ እይታ

They decide whether you get the same predictable answer every time or fresh, varied phrasing.

ጥልቅ ዳይቭ

በእያንዳንዱ እርምጃ የቋንቋ ሞዴል አንድን ቃል በቀጥታ አያወጣም - ለእያንዳንዱ የቃላት ዝርዝር ነጥብ ('logit') ይፈጥራል፣ ይህም softmax ወደ ፕሮባቢሊቲ ስርጭት ይቀየራል። ናሙና ቀጣዩ ማስመሰያ ከዚያ ስርጭት እንዴት እንደሚመረጥ ነው። የሙቀት መጠኑ ከመምረጥዎ በፊት ስርጭቱን እንደገና ይቀይሳል-ዝቅተኛ የሙቀት መጠን ከፍተኛ ምርጫዎችን እንዲቆጣጠር ያደርገዋል ፣ ስለሆነም ውፅዓት ያተኮረ እና ሊደገም የሚችል ነው ። ከፍተኛ የሙቀት መጠን ያጎናጽፈዋል፣ ይህም የማይመስሉ ቶከኖች ለበለጠ ልዩነት (እና ተጨማሪ ስህተቶች) እንዲገቡ ያስችላቸዋል። ሁለት ታዋቂ ማጣሪያዎች ገንዳውን መጀመሪያ ያጠባሉ. Top-k የ k ከፍተኛ-ይሆናል ያላቸውን ምልክቶች ብቻ ነው የሚያቆየው። ቶፕ-ፒ ወይም ኒውክሊየስ ናሙና፣ እድላቸው ወደ p (0.9 ይበሉ) የሚጨምር ትንሹን የቶከኖች ስብስብ ይይዛል፣ ስለዚህ ገንዳው የሚያድገው ሞዴሉ እርግጠኛ በማይሆንበት ጊዜ እና በራስ የመተማመን ጊዜ ሲቀንስ ነው። እነዚህ ቅንጅቶች በአንድ ላይ አስተማማኝነትን ከፈጠራ ጋር ይለውጣሉ።

ቴክኒካዊ ግንዛቤ

የሙቀት መጠን ከSoftmax በፊት እያንዳንዱን ሎጊት በቲ በማካፈል ይሰራል፡ ፕሮባቢሊቲ ከኤክስፕ(ሎጊት/ቲ) ጋር ተመጣጣኝ ነው። ቲ ከ 1 በታች ያሉትን ክፍተቶች ያሰላታል ስለዚህም የላይኛው ምልክት የበላይነት; ቲ ከ 1 በላይ ክፍተቶቹን ይቀንሳል እና ስርጭቱን ያስተካክላል. በቲ 0 አቅራቢያ ሞዴሉ ውጤታማ ስግብግብ ይሆናል, ሁልጊዜም በጣም ሊከሰት የሚችለውን ነጠላ ምልክት ይወስዳል. Top-k እጩውን በቋሚ ቁጥር ይቆጥራል፣ top-p ደግሞ ድምር-ይሁንታ መቁረጥን ያዘጋጃል፣ ስለዚህ የእጩ ቆጠራው ሞዴሉ በዚያ ደረጃ ላይ ምን ያህል እንደሚተማመን ጋር ይስማማል።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።

መድረስ እና መድረስ

በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።

ግልጽ ውሳኔዎች

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።

የወደፊት የሙቀት መጠን እና ናሙና

እነዚህ መቆጣጠሪያዎች የተረጋጉ እና በደንብ የተረዱ ናቸው፣ ስለዚህ ድርጊቱ ይበልጥ ብልጥ በሆኑ ነባሪዎች እና አዳዲስ ልዩነቶች ውስጥ ነው። እንደ min-p ያሉ (መቁረጡን ወደ ላይኛው ማስመሰያ የመሆን እድል የሚለካው) እና መካከለኛ ትውልድን የሚቀይር ተለዋዋጭ የሙቀት መጠን ያሉ ተጨማሪ አስማሚ እቅዶችን ይጠብቁ። መገልገያ በእያንዳንዱ ተግባር በራስ-ሰር የሚመርጥ ቅንብሮችን ይጨምራል - ለኮድ እና ለማውጣት ዝቅተኛ፣ ለአእምሮ ማጎልበት ከፍተኛ - ስለዚህ ተጠቃሚዎች በእጅ መቃኘት አይችሉም። ዋናው ሃሳቡ ጸንቶ ይኖራል፡- ናሙና ቀላል፣ ኃይለኛ ቋጠሮ በቆራጥነት ትክክለኛነት እና በፈጠራ ልዩነት መካከል ነው።

የእውነተኛ-ዓለም አተገባበር

ለኮድ ማመንጨት ወይም ዳታ ማውጣት በ 0 አቅራቢያ ያለውን የሙቀት መጠን በማቀናበር በእያንዳንዱ ጊዜ ተመሳሳይ ትክክለኛ መልስ በሚፈልጉበት ቦታ ላይ

የተለያዩ አማራጮችን ለማግኘት ስሞችን፣ መፈክሮችን ወይም የታሪክ ሀሳቦችን ለማፍለቅ የሙቀት መጠኑን ወደ 0.8-1.0 ማሳደግ

በ0.9 አካባቢ top-p በመጠቀም ሞዴሉ በጣም አሳማኝ ከሆኑ ቃላት ብቻ ነው የሚወሰደው እና አስገራሚ ምልክቶችን ያስወግዳል።

ከፍተኛ-kን ለዋና እጩዎች ማመልከት እና ከርዕስ ውጪ የሆኑ ቃላቶች ደንበኛን በሚመለከት ምላሽ ላይ እንዳይታዩ መከላከል

አደጋዎች እና የጥበቃ መንገዶች

የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።

ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።

የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።

የትግበራ ፍኖተ ካርታ

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።

ማሰስዎን ይቀጥሉ

ChatGPT እና LLMs

የዘመናዊ ቋንቋ ሞዴሎች እንዴት እንደሚያመነጩ እና እንደሚያስቡ ይመልከቱ።

መመሪያ ያንብቡ

NLP መሰረታዊ ነገሮች

ከእነዚህ መሳሪያዎች በስተጀርባ ያለውን የቋንቋ ማቀናበሪያ መሰረታዊ ነገሮችን ይማሩ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Temperature and Sampling quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

ኒውክሊየስ እና Top-k ናሙና

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Temperature and Sampling?

የሙቀት መጠን እና ናሙና የቋንቋ ሞዴል የቃላት አገባብ እንዴት 'በዘፈቀደ' ወይም 'ደህንነቱ የተጠበቀ' እንደሆነ የሚቆጣጠሩ መደወያዎች ናቸው። በእያንዳንዱ ጊዜ ወይም ትኩስ፣ የተለያዩ ሀረጎች ተመሳሳይ መልስ ማግኘት አለመቻልዎን ይወስናሉ።

የሙቀት መጠኑን መጨመር የአንድን ሞዴል ውጤት ምን ያደርጋል?

ከፍ ያለ የሙቀት መጠን የፕሮባቢሊቲ ስርጭትን ያስተካክላል፣ ስለዚህ ብዙም የማይቻሉ ቶከኖች በብዛት ይወሰዳሉ፣ ይህም የበለጠ የተለያየ (እና አደገኛ) ውፅዓት ይፈጥራል።

የ top-p (ኒውክሊየስ) ናሙና ከtop-k ናሙና እንዴት ይለያል?

Top-p በድምር እጩ የተቀመጠውን እጩ ያስተካክላል፣ top-k ሁልጊዜ ቋሚ ከፍተኛ ምልክቶችን ይይዛል።

በሜካኒካል ፣ የሙቀት መጠኑ በእውነቱ በሎጅቶች ላይ ምን ያደርጋል?

የሙቀት መጠን ከ softmax በፊት እያንዳንዱን ሎጊት በ T ይከፍላል; T ከ 1 በታች ስርጭቱን ያስተካክላል, ቲ ከ 1 በላይ ያስተካክላል.

ኮድ ለማመንጨት ወይም የተዋቀረ ውሂብ ለማውጣት የትኛው ቅንብር በጣም ጥሩ ነው?

ትክክለኛነት እና ተደጋጋሚነት የሚያስፈልጋቸው ተግባራት በጣም ዝቅተኛ የሙቀት መጠን ስለሚጠቀሙ ሞዴሉ በአስተማማኝ ሁኔታ በጣም ትክክለኛ የሆኑትን ትክክለኛ ምልክቶችን ይመርጣል።

ውጤታማ በሆነ የሙቀት መጠን 0 ምን ይሆናል?

በዜሮ የሙቀት መጠን አቅራቢያ, ስርጭቱ በጣም ስለታም ነው ከፍተኛው-ይሆናል ምልክት ሁልጊዜ ይመረጣል - ስግብግብ ዲኮዲንግ.