Joto na Sampuli
Halijoto na sampuli ni misimbo inayodhibiti jinsi maneno ya modeli ya lugha yalivyo 'nasibu' au 'salama'.
Muhtasari
They decide whether you get the same predictable answer every time or fresh, varied phrasing.
Dive ya kina
Katika kila hatua, modeli ya lugha haitoi neno moja kwa moja - hutoa alama ('logi') kwa kila ishara katika msamiati wake, ambayo softmax inageuka kuwa usambazaji wa uwezekano. Sampuli ni jinsi ishara inayofuata inavyochaguliwa kutoka kwa usambazaji huo. Joto hurekebisha usambazaji kabla ya kuchagua: joto la chini hufanya uchaguzi wa juu kutawala, hivyo pato linalenga na kurudia; joto la juu huiweka, kuruhusu ishara zisizowezekana kuingia kwa aina zaidi (na makosa zaidi). Vichungi viwili maarufu hupunguza bwawa kwanza. Top-k huweka tokeni za k pekee za uwezekano mkubwa. Sampuli ya Juu-p, au kiini, huweka seti ndogo zaidi ya ishara ambazo uwezekano wake unaongezeka hadi p (sema 0.9), kwa hivyo bwawa hukua wakati muundo hauna uhakika na husinyaa wakati unajiamini. Mipangilio hii kwa pamoja hubadilishana uaminifu dhidi ya ubunifu.
Ufahamu wa Kiufundi
Halijoto hufanya kazi kwa kugawanya kila kumbukumbu na T kabla ya softmax: uwezekano ni sawia na exp(logi / T). T chini ya 1 huongeza mapungufu ili ishara ya juu itawale; T juu ya 1 hupunguza mapengo na kusambaza usambazaji. Saa T karibu na 0 kielelezo kinakuwa cha pupa, kila wakati huchukua ishara moja inayowezekana zaidi. Top-k huweka hesabu ya mgombea katika nambari maalum, huku top-p huweka mkato wa uwezekano-jumla, kwa hivyo hesabu ya mgombeaji wake inalingana na jinsi mtindo ulivyo na uhakika katika hatua hiyo.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Joto na Sampuli
Vidhibiti hivi ni thabiti na vinaeleweka vyema, kwa hivyo kitendo kiko katika chaguomsingi bora zaidi na vibadala vipya zaidi. Tarajia mipango inayobadilika zaidi kama vile min-p (ambayo huweka kikomo hadi kwenye uwezekano wa tokeni ya juu) na halijoto inayobadilika ambayo hubadilika kizazi cha kati. Utumiaji wa zana utazidi kuchagua mipangilio ya kiotomatiki kwa kila kazi - chini ya msimbo na uchimbaji, wa juu zaidi kwa kujadiliana - ili watumiaji wasisikize kwa mikono. Wazo la msingi hudumu: sampuli ni kifundo rahisi, chenye nguvu kati ya usahihi wa kubainisha na aina bunifu.
Utekelezaji wa Ulimwengu Halisi
Kuweka halijoto karibu 0 kwa ajili ya kuzalisha msimbo au kutoa data, ambapo unataka jibu sawa sahihi kila wakati
Kuongeza joto hadi karibu 0.8-1.0 kwa ajili ya kuchangia majina, kauli mbiu, au mawazo ya hadithi ili kupata chaguo mbalimbali
Kutumia top-p karibu 0.9 kwa hivyo sampuli za mfano kutoka kwa maneno yanayokubalika zaidi na epuka tokeni za ajabu.
Kutumia top-k kwa wateuliwa na kuzuia maneno adimu, yasiyo na mada kuonekana katika jibu linalomlenga mteja.
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Temperature and Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Nucleus na Top-k Sampuli
Maswali yanayoulizwa mara kwa mara
What is Temperature and Sampling?
Halijoto na sampuli ni misimbo inayodhibiti jinsi maneno ya modeli ya lugha yalivyo 'nasibu' au 'salama'. Wanaamua kama utapata jibu lile lile linaloweza kutabirika kila wakati au vifungu vya maneno tofauti.
Kuongeza joto kunafanya nini kwa pato la mfano?
Halijoto ya juu zaidi huongeza usambaaji wa uwezekano, kwa hivyo tokeni zisizo na uwezekano mdogo huchukuliwa mara nyingi zaidi, na hivyo kutoa matokeo tofauti zaidi (na hatari zaidi).
Je, sampuli za top-p (nucleus) zinatofautiana vipi na sampuli za top-k?
Top-p hurekebisha kiteuliwa kilichowekwa na uwezekano limbikizi, huku top-k kila mara huweka idadi isiyobadilika ya tokeni kuu.
Kimechanic, halijoto hufanya nini kwa kumbukumbu?
Joto hugawanya kila logi kwa T kabla ya softmax; T chini ya 1 huimarisha usambazaji, T juu ya 1 huiboresha.
Kwa kutoa msimbo au kutoa data iliyopangwa, ni mpangilio gani ambao kawaida huwa bora zaidi?
Majukumu yanayohitaji usahihi na kurudiwa hutumia halijoto ya chini sana kwa hivyo modeli huchagua tokeni zinazowezekana zaidi, sahihi.
Ni nini hufanyika kwa joto la 0 kwa ufanisi?
Karibu na halijoto ya sifuri, usambazaji ni mkali sana kwamba tokeni ya uwezekano wa juu zaidi huchaguliwa kila wakati - kusimbua kwa pupa.