Nucleus ati Top-k iṣapẹẹrẹ
Nucleus (top-p) ati iṣapẹẹrẹ oke-k jẹ awọn ọna iyipada ti o ṣafikun aileto iṣakoso si iran ọrọ nipa ihamọ iru awọn ami ti o le yan.
Akopọ
They matter because they make AI writing feel natural and varied instead of repetitive or robotic.
Jin Dive
Awoṣe ede ṣe afihan pinpin iṣeeṣe lori gbogbo awọn ọrọ-ọrọ rẹ ni igbesẹ kọọkan. Iṣapẹẹrẹ taara lati ọdọ rẹ le mu awọn ami iyalẹnu, iṣeeṣe kekere; nigbagbogbo mu awọn oke àmi (greedy) gbe awọn ṣigọgọ, ti atunwi losiwajulosehin. Iṣapẹẹrẹ oke-k ṣe atunṣe eyi nipa titọju awọn ami iṣeeṣe ti o ga julọ nikan (sọ k=40), isọdọtun, ati iṣapẹẹrẹ laarin wọn. Iṣapẹẹrẹ Nucleus, ti a ṣe nipasẹ Holtzman et al. ni ọdun 2019, dipo tọju eto ami ti o kere julọ ti iṣeeṣe akopọ ti kọja ala p (fun apẹẹrẹ, 0.9) - 'irun' naa. Anfani bọtini ni pe ṣeto yii n dinku nigbati awoṣe ba ni igboya ati gbooro nigbati ko daju, ni ibamu ni agbara. Mejeeji nigbagbogbo ni idapo pẹlu paramita iwọn otutu ti o pọ tabi tan kaakiri pinpin ṣaaju iṣapẹẹrẹ.
Imọ-imọ-ẹrọ
Iyatọ to ṣe pataki jẹ ti o wa titi dipo gige adaṣe adaṣe. Top-k nigbagbogbo ntọju awọn ami k gangan, eyiti o le jẹ diẹ pupọ nigbati ọpọlọpọ awọn aṣayan jẹ oye, tabi pẹlu ijekuje nigbati tọkọtaya nikan ni oye. Top-p ntọju nọmba oniyipada - o kan awọn ami ti o to lati bo iṣeeṣe ibi-p - nitorinaa o tẹ iru gigun ti ko ni igbẹkẹle lakoko ti o bọwọ fun bi o ṣe ga tabi alapin pinpin jẹ. Awọn iwọn otutu (nigbagbogbo 0.7-1.0) ṣe atunṣe awọn logiti ṣaaju ọna boya: awọn iye kekere ṣe idojukọ iṣeeṣe, awọn iye ti o ga julọ tan kaakiri.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Nucleus ati Top-k iṣapẹẹrẹ
Iyipada orisun-iṣapẹẹrẹ jẹ aiyipada ni bayi fun awọn ibaraẹnisọrọ iwiregbe ati awọn irinṣẹ iṣẹda, ati pe iwadii ntọju atunṣe rẹ: awọn ọna bii iṣapẹẹrẹ aṣoju, min-p, ati eta/epsilon iṣapẹẹrẹ ifọkansi lati ge iru naa ni oye ju p tabi k ti o wa titi lọ. Reti awọn paramita iyipada lati di mimọ-ọrọ diẹ sii ati paapaa kọ ẹkọ, dinamọra laifọwọyi fun awọn idahun otitọ ati ṣiṣi silẹ fun ọpọlọ. Bi awọn awoṣe ti n ṣe ilọsiwaju, iṣakoso iṣapẹẹrẹ iṣọra jẹ pataki fun iwọntunwọnsi igbẹkẹle, oniruuru, ati idinku awọn ihalẹ.
Real-World imuse
Chatbots ti nlo oke-p ni ayika 0.9 lati tọju awọn idahun yatọ sibẹ ti o jọra ni gbogbo ibaraẹnisọrọ kan
Awọn arannilọwọ kikọ ẹda ti o ga soke ni iwọn otutu ati p si ọpọlọ awọn imọran itan oniruuru
Awọn irinṣẹ-iran koodu idinku iwọn otutu ati k fun ipinnu diẹ sii, awọn snippets ti o tọ
Awọn olumulo API ti n ṣatunṣe top_p ati awọn paramita top_k lati ṣakoso bi awọn igbejade awoṣe ṣe jẹ adventurous
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Nucleus and Top-k Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Apejuwe Aṣoju
Awọn ibeere ti a beere nigbagbogbo
What is Nucleus and Top-k Sampling?
Nucleus (top-p) ati iṣapẹẹrẹ oke-k jẹ awọn ọna iyipada ti o ṣafikun aileto iṣakoso si iran ọrọ nipa ihamọ iru awọn ami ti o le yan. Wọn ṣe pataki nitori wọn jẹ ki kikọ AI lero adayeba ati iyatọ dipo ti atunwi tabi roboti.
Bawo ni iṣapẹẹrẹ oke-k ṣe ihamọ awọn yiyan àmi?
Top-k truncates awọn pinpin si kan ti o wa titi nọmba k ti awọn julọ afaimo àmi, renomalizes, ati awọn ayẹwo lati awon.
Kini asọye 'nucleus' ninu iṣapẹẹrẹ arin (oke-p)?
Top-p tọju ẹgbẹ ti o kere julọ ti awọn ami-ami oke eyiti iṣeeṣe akopọ rẹ de ala p, lẹhinna awọn ayẹwo laarin wọn.
Kini anfani bọtini ti oke-p lori oke-k?
Oludije Top-p ṣeto idinku nigbati awoṣe ba ni igboya ati dagba nigbati aidaniloju, ko dabi kika ti o wa titi oke-k.
Kini paramita iwọn otutu ṣe ṣaaju iṣapẹẹrẹ?
Isalẹ otutu concentrates iṣeeṣe lori oke àmi (diẹ deterministic); ti o ga otutu flatens o (diẹ Oniruuru).
Kini idi ti iyipada ojukokoro mimọ (nigbagbogbo aami ami oke) nigbagbogbo ko fẹ fun ọrọ ṣiṣi?
Ṣiṣatunṣe ojukokoro nigbagbogbo n di ni atunwi ati pe ko ni oriṣiriṣi ẹda ti o ṣakoso iṣapẹẹrẹ pese.