Awọn iwọn otutu ati iṣapẹẹrẹ
Iwọn otutu ati iṣapẹẹrẹ jẹ awọn ipe ti o ṣakoso bi 'ailewu' tabi 'ailewu' ọrọ awoṣe ede jẹ.
Akopọ
Wọn pinnu boya o gba idahun asọtẹlẹ kanna ni gbogbo igba tabi tuntun, awọn gbolohun ọrọ oriṣiriṣi.
Jin Dive
Ni igbesẹ kọọkan, awoṣe ede ko ṣejade ọrọ kan taara - o ṣe agbejade Dimegilio kan ('logit') fun gbogbo ami-ami ninu awọn ọrọ rẹ, eyiti softmax yipada si pinpin iṣeeṣe. Iṣapẹẹrẹ jẹ bi a ṣe yan ami atẹle lati pinpin yẹn. Iwọn otutu ṣe atunṣe pinpin ṣaaju ki o to yan: iwọn otutu kekere jẹ ki awọn aṣayan oke jẹ gaba lori, nitorinaa o wujade jẹ idojukọ ati tun ṣe; iwọn otutu ti o ga julọ jẹ ki o jẹ ki awọn ami ti ko ṣeeṣe yo sinu fun ọpọlọpọ pupọ (ati awọn aṣiṣe diẹ sii). Meji gbajumo Ajọ dín awọn pool akọkọ. Top-k ntọju nikan ni k ga-iṣeeṣe àmi. Top-p, tabi nucleus iṣapẹẹrẹ, ntọju awọn aami ti o kere julọ ti awọn ami ti awọn iṣeeṣe ṣe afikun si p (sọ 0.9), nitorina adagun naa dagba nigbati awoṣe ko ni idaniloju ati dinku nigbati o ba ni igboya. Papọ awọn eto wọnyi n ṣowo igbẹkẹle lodi si iṣẹda.
Imọ-imọ-ẹrọ
Awọn iwọn otutu n ṣiṣẹ nipa pinpin logit kọọkan nipasẹ T ṣaaju softmax: iṣeeṣe jẹ iwon si exp (logit / T). T ni isalẹ 1 pọn awọn ela ki aami oke jẹ gaba lori; T loke 1 dinku awọn ela ati fifẹ pinpin. Ni T sunmọ 0 awoṣe naa di ojukokoro daradara, nigbagbogbo mu aami kan ti o ṣeeṣe julọ. Top-k awọn bọtini oludibo ka ni nọmba ti o wa titi, lakoko ti oke-p ṣeto gige gige-iṣeeṣe akopọ kan, nitorinaa kika oludije rẹ ṣe deede si bii igboya awoṣe ṣe wa ni igbesẹ yẹn.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti iwọn otutu ati iṣapẹẹrẹ
Awọn idari wọnyi jẹ iduroṣinṣin ati oye daradara, nitorinaa iṣe naa wa ni awọn aṣiṣe ijafafa ati awọn iyatọ tuntun. Reti awọn ero imudọgba diẹ sii bii min-p (eyiti o ṣe iwọn gige si iṣeeṣe ami ti oke) ati iwọn otutu ti o ni agbara ti o yipada iran-aarin. Irinṣẹ ohun elo yoo pọ si awọn eto mu adaṣe fun iṣẹ-ṣiṣe - kekere fun koodu ati isediwon, ti o ga julọ fun ọpọlọ - nitorinaa awọn olumulo kii yoo tune pẹlu ọwọ. Ero mojuto duro: iṣapẹẹrẹ jẹ irọrun, koko ti o lagbara laarin deede ipinnu ati oniruuru ẹda.
Real-World imuse
Ṣiṣeto iwọn otutu nitosi 0 fun iran koodu tabi isediwon data, nibiti o fẹ idahun deede kanna ni gbogbo igba
Igbega iwọn otutu si ayika 0.8-1.0 fun awọn orukọ ọpọlọ, awọn ami-ọrọ, tabi awọn imọran itan lati gba awọn aṣayan oriṣiriṣi
Lilo oke-p ni ayika 0.9 nitorinaa awọn apẹẹrẹ awoṣe lati awọn ọrọ ti o ṣeeṣe julọ nikan ati yago fun awọn ami ti o buruju
Nbere top-k si awọn oludije fila ati ṣe idiwọ toje, awọn ọrọ koko-ọrọ lati han ni esi ti nkọju si alabara
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Temperature and Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Nucleus ati Top-k iṣapẹẹrẹ
Awọn ibeere ti a beere nigbagbogbo
Kini iwọn otutu ati iṣapẹẹrẹ?
Iwọn otutu ati iṣapẹẹrẹ jẹ awọn ipe ti o ṣakoso bi 'ailewu' tabi 'ailewu' ọrọ awoṣe ede jẹ. Wọn pinnu boya o gba idahun asọtẹlẹ kanna ni gbogbo igba tabi titun, awọn gbolohun ọrọ oriṣiriṣi.
Kini igbega iwọn otutu ṣe si iṣelọpọ awoṣe kan?
Iwọn otutu ti o ga julọ ṣe itọsi pinpin iṣeeṣe, nitorinaa awọn ami-iṣeeṣe ti o kere julọ ni a mu diẹ sii nigbagbogbo, ti n ṣe agbejade orisirisi diẹ sii (ati eewu).
Bawo ni iṣapẹẹrẹ oke-p (nucleus) ṣe yatọ si iṣapẹẹrẹ oke-k?
Top-p ṣe atunṣe oludije ti a ṣeto nipasẹ iṣeeṣe akopọ, lakoko ti oke-k nigbagbogbo ntọju nọmba ti o wa titi ti awọn ami oke.
Mekaniki, kini iwọn otutu ṣe gangan si awọn logiti?
Awọn iwọn otutu pin kọọkan logit nipasẹ T ṣaaju si softmax; T ni isalẹ 1 pọn pinpin, T loke 1 flatens o.
Fun ṣiṣẹda koodu tabi yiyọ data eleto, eto wo ni igbagbogbo dara julọ?
Awọn iṣẹ ṣiṣe ti o nilo atunṣe ati atunwi lo iwọn otutu kekere pupọ nitoribẹẹ awoṣe naa ni igbẹkẹle gbe o ṣeeṣe julọ, awọn ami ami to tọ.
Kini yoo ṣẹlẹ ni iwọn otutu ti 0 ti o munadoko?
Nitosi iwọn otutu odo, pinpin jẹ didasilẹ tobẹẹ pe ami iṣeeṣe ti o ga julọ ni a yan nigbagbogbo - iyipada ojukokoro.