Iyipada itansan
Iyipada iyipada iyatọ n ṣe agbejade ọrọ ti o ni agbara giga nipasẹ iyokuro awọn ifarahan ti awoṣe ede kekere, alailagbara lati awọn ti o tobi, ti o lagbara.
Akopọ
It amplifies what the expert knows and the amateur misses, reducing repetition and bland output.
Jin Dive
Nigbati awoṣe ede ba yan ọrọ ti o tẹle, o ṣe agbejade iṣeeṣe lori awọn ọrọ-ọrọ rẹ. Iyipada iyatọ (ifihan nipasẹ Li et al. ni 2022) nṣiṣẹ awọn awoṣe meji lori ipo kanna: 'iwé' nla ati 'magbowo' kekere kan. Dipo ti gbigbekele awọn iṣeeṣe aise ti iwé, o jẹ ami ami oludije kọọkan nipasẹ iyatọ laarin iṣeeṣe log-iwé ati ti magbowo. Àmi awọn iwé waleyin ṣugbọn awọn magbowo ko ni gba boosted; awọn ọrọ jeneriki ti awọn awoṣe mejeeji nifẹ (bii 'awọn' tabi awọn gbolohun ọrọ ti o tun ṣe) ni idinku, nitori magbowo fẹran wọn paapaa. Àlẹmọ plausibility kọkọ sọ awọn ami ti iwé ro pe ko ṣeeṣe pupọ, nitorinaa itansan ko ṣe igbega isọkusọ rara. Abajade jẹ irọrun diẹ sii, isomọ, ati ọrọ ti o ni igba pipẹ ti o kere si ju ojukokoro tabi iṣapẹẹrẹ iparun, laisi ikẹkọ afikun ti o nilo.
Imọ-imọ-ẹrọ
Awọn mojuto Dimegilio ni log p_expert (àmi) iyokuro a olùsọdipúpọ igba log p_amateur (àmi). Nitoripe magbowo naa pin awọn aṣiṣe eleto ti iwé (iṣafẹri awọn ami-igbohunsafẹfẹ giga, looping, atunwi ibajẹ), iyokuro awọn iṣeeṣe log rẹ fagile awọn ipo ikuna ti o pin wọnyẹn lakoko ti o tọju imọ-ijinlẹ tootọ. Ihamọ iṣe adaṣe adaṣe tọju awọn ami ami nikan loke ida kan (alpha) ti iṣeeṣe iwé oke, idilọwọ itansan lati pilẹṣẹ toje, awọn ọrọ aiṣedeede.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Iyipada Iyipada
Yiyipada ilodisi ti ṣe atilẹyin idile ti awọn ọna 'itansan ni itọkasi', pẹlu DoLa (titọka awoṣe ti ara rẹ ni kutukutu dipo awọn ipele pẹlẹ lati ge hallucination) ati awọn iyatọ ti o mọ ọrọ-ọrọ ti o ṣe iyatọ pẹlu ati laisi awọn iwe aṣẹ ti a gba pada. Reti isọpọ titọ pẹlu igbapada, igbelewọn otitọ, ati distillation magbowo kekere, pẹlu apapo pẹlu iyipada arosọ ki magbowo mejeeji n ṣakoso didara ati mu iran yara ni nigbakannaa.
Real-World imuse
Ṣiṣẹda gigun, itan ti kii ṣe atunwi tabi awọn ilọsiwaju nkan nibiti iṣapẹẹrẹ iparun n lọ sinu awọn lupu
Pipọpọ alamọja 65B kan pẹlu magbowo 1.5B lati mu ilọsiwaju iran ti o pari laisi atunṣe-dara
Idinku atunwi ibajẹ ni akopọ ati awọn abajade ifọrọwerọ
Ṣiṣẹ bi ipilẹ fun itansan ara-ara DoLa lati dinku awọn hallucinations otitọ
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Contrastive Decoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iyipada Ewu Bayes Kere
Awọn ibeere ti a beere nigbagbogbo
What is Contrastive Decoding?
Iyipada iyipada iyatọ n ṣe agbejade ọrọ ti o ni agbara giga nipasẹ iyokuro awọn ifarahan ti awoṣe ede kekere, alailagbara lati awọn ti o tobi, ti o lagbara. O ṣe alekun ohun ti alamọja mọ ati magbowo naa padanu, idinku atunwi ati iṣẹjade alaburuku.
Ni iyipada iyatọ, ipa wo ni awoṣe 'magbowo' kekere ṣe?
Awọn iṣeeṣe log-magbowo ti wa ni iyokuro lati ọdọ amoye, fagile awọn aṣiṣe eto (gẹgẹbi ayanfẹ awọn ami loorekoore) ti awọn awoṣe mejeeji pin.
Kini idi ti iyokuro awọn iṣeeṣe magbowo naa dinku atunwi ati iṣẹjade alaiwu?
Mejeeji awọn awoṣe ṣọ lati ju-fẹ ga-igbohunsafẹfẹ ati awọn ami atunwi; iyokuro osere magbowo yọ kuro ti o pin irẹjẹ, sisọ awọn aṣayan alaburuku.
Kini idinamọ plausibility adaṣe ṣe?
Àlẹmọ plausibility sọ awọn ami-iṣeeṣe kekere silẹ labẹ alamọja, nitorinaa itansan ko le ṣe igbega awọn ọrọ aiṣedeede tabi awọn ọrọ isọkusọ.
Ni aijọju kini agbekalẹ igbelewọn ni iyipada iyatọ?
Oludije kọọkan jẹ ami-idiwọn bi iṣeeṣe log-iṣeeṣe iwé iyokuro iṣeeṣe log-magbowo ti o ni iwuwo, awọn ami ti o ni ere ti alamọja fẹ ni iyasọtọ.
Eyi ti nigbamii ọna fa awọn itansan agutan to kan nikan awoṣe ile ti ara fẹlẹfẹlẹ?
DoLa ṣe iyatọ ti ti tọjọ awoṣe (ibẹrẹ-Layer) ati awọn asọtẹlẹ ti ogbo (Layer-Layer) lati dinku hallucination, lilo imọran itansan laarin awoṣe kan.