Logit Iyatọ
Iyatọ Logit jẹ koko kan ti o ṣe apẹrẹ awoṣe ede si ọna tabi kuro lati awọn ami-ami kan pato nipa fifi nọmba ti o wa titi kun si awọn ikun wọn ṣaaju ki awoṣe mu ọrọ atẹle.
Akopọ
It is a lightweight way to ban words, force choices, or shape style without retraining anything.
Jin Dive
Ṣaaju ki awoṣe to yan ami-ami atẹle rẹ, o ṣe agbejade logit kan (Dimegili ti ko ṣe deede) fun gbogbo ami-ami ninu awọn ọrọ rẹ. Iyatọ Logit n jẹ ki o ṣafikun iye igbagbogbo si awọn logiti ti awọn ami ti a yan nipasẹ awọn ID ami ami nomba wọn. Irẹjẹ rere ti o tobi jẹ ki ami kan jẹ diẹ sii lati ṣe ayẹwo; ojuṣaaju odi ti o tobi (nigbagbogbo -100 ni awọn API) ni ilodi si. Nitoripe atunṣe n ṣẹlẹ ṣaaju softmax ti o yi awọn ikun pada si awọn iṣeeṣe, paapaa awọn irẹwọn iwọntunwọnsi ni itumo yi pinpin kaakiri. Ni pataki, ojuṣaaju jẹ bọtini si awọn ID ami ami, kii ṣe awọn ọrọ odidi - nitorinaa ọrọ-ami-ọpọlọpọ le nilo ọkọọkan awọn ege rẹ ni aiṣojusi lati dinku ni kikun tabi ṣe igbega. O jẹ iyara, iṣakoso iṣẹ abẹ ti ko nilo atunṣe-itanran ati pe o kan fun ibeere kan.
Imọ-imọ-ẹrọ
Logits ni o wa gidi-iye ikun; softmax ṣe alaye wọn, nitorinaa fifi +5 kun si ami-ami kan ṣe isodipupo iwuwo rẹ ti ko ṣe deede nipasẹ e ^ 5 (~ 148x) ṣaaju ṣiṣe deede. Fifi-100 Titari iṣeeṣe post-softmax rẹ si odo ni pataki. Nitoripe tokenizers lo awọn ipin ọrọ-ọrọ, ọrọ 'aibanujẹ' le jẹ awọn ami ami meji; abosi nikan nkan akọkọ kii yoo ṣakoso rẹ ni kikun. Ti o jẹ granularity subword ni akọkọ gotcha nigbati eniyan gbiyanju lati gbesele ọrọ kan pato ati pe o tun n jo nipasẹ apakan.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Logit Bias
Irẹjẹ Logit jẹ ohun pataki fun idari ni iyara, ṣugbọn awọn omiiran ti o ni oro sii ti n dagba: ti eleto/idiba iyipada fun awọn iṣeduro lile, ati idari imuṣiṣẹ tabi imọ-ẹrọ oniduro ti o jẹ ki awọn adaṣe inu inu awoṣe dipo ki o kan awọn ikun jade. Reti awọn API lati tọju ojuṣaaju logit gẹgẹbi ọna abayọ ti o rọrun lakoko ti o nfun awọn iṣakoso ipele ti o ga julọ - awọn gbolohun ọrọ ti a fi ofin de, awọn itọsọna ara, awọn asẹ aabo - ti o mu ami isamisi laifọwọyi nitorinaa awọn olupilẹṣẹ ko ni lati ronu nipa awọn ID ami ami aise.
Real-World imuse
Ṣiṣeto aiṣedeede -100 lori awọn ami aifẹ lati ṣe idiwọ iwiregbebot lati ṣe agbejade awọn ọrọ kan lailai.
Fi ipa mu bẹẹni/ko si classifier nipa fifun ojuṣaaju rere ti o lagbara si awọn ami ‘Bẹẹni’ ati ‘Bẹẹkọ’ ati didapa ohun gbogbo miiran.
Irẹwẹsi gbolohun ọrọ ilokulo tabi ọrọ kikun nipa lilo ojuṣaaju odi iwọntunwọnsi si awọn ami rẹ.
Igbega awọn ofin kan-ašẹ (bii orukọ ọja) nitorinaa akopọ kan darukọ wọn ni igbẹkẹle.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Logit Bias quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
ALiBi Ipo Iyatọ
Awọn ibeere ti a beere nigbagbogbo
What is Logit Bias?
Iyatọ Logit jẹ koko kan ti o ṣe apẹrẹ awoṣe ede si ọna tabi kuro lati awọn ami-ami kan pato nipa fifi nọmba ti o wa titi kun si awọn ikun wọn ṣaaju ki awoṣe mu ọrọ atẹle. O jẹ ọna iwuwo fẹẹrẹ lati gbesele awọn ọrọ, awọn yiyan ipa, tabi ara apẹrẹ laisi ikẹkọ ohunkohun.
Kini abosi logit ṣe atunṣe?
Irẹjẹ Logit ṣe afikun ibakan si awọn logits ti awọn ID idanimọ ti a yan, yiyipada bi o ṣe ṣee ṣe wọn lati yan, laisi iyipada awoṣe funrararẹ.
Ni ọpọlọpọ awọn API, kini ojuṣaaju logit ti -100 lori ami-ami kan ṣe?
Irẹjẹ odi nla bi -100 wakọ iṣeeṣe post-softmax tokini si odo ni pataki, nitorinaa o fẹrẹ jẹ iṣelọpọ rara.
Kini idi ti o le fi ofin de ọrọ kan pẹlu ojuṣaaju logit nigbakan n jo abajade apa kan?
Tokenizers pin ọpọlọpọ awọn ọrọ sinu ọpọ awọn ami-ọrọ subword, nitorinaa aibikita nkan akọkọ nikan kuna lati dinku ọrọ ni kikun.
Iyatọ Logit jẹ bọtini si idanimọ wo?
Awọn iye abosi ni a lo si awọn ID ami ami kan pato lati awọn fokabulari tokenizer, eyiti o jẹ idi ti o gbọdọ mọ awọn ID fun awọn ege ti ọrọ kan.
Nitoripe awọn logiti ti kọja nipasẹ softmax, kini ipa ti fifi irẹwẹsi rere kun?
Softmax ṣe alaye awọn logiti, nitorinaa paapaa ojuṣaaju rere ti iwọntunwọnsi ṣe isodipupo iwuwo ami kan ti a ko ṣe deede, ti o mu awọn aidọgba rẹ pọ si.