Èdè AI Itọsọna
Iyipada itansan
Iyipada iyipada iyatọ n ṣe agbejade ọrọ ti o ni agbara giga nipasẹ iyokuro awọn ifarahan ti awoṣe ede kekere, alailagbara lati awọn ti o tobi, ti o lagbara.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
It amplifies what the expert knows and the amateur misses, reducing repetition and bland output.
Jin Dive
Contrastive decoding scores candidate tokens using an expert model and an amateur model, subtracting a weighted amateur log-probability from the expert score. It can suppress tokens that both models favor, including some generic or repetitive continuations. An adaptive plausibility constraint filters out tokens whose expert probability is too small relative to the expert’s highest-probability token. This constraint limits candidates; it does not guarantee coherent, grammatical, or truthful output. Output quality depends on the models, coefficient, threshold, prompt, and task, so evaluate the full generation. The method runs at inference time with two models and requires no additional training.
Real-World imuse
Ṣiṣẹda gigun, itan ti kii ṣe atunwi tabi awọn ilọsiwaju nkan nibiti iṣapẹẹrẹ iparun n lọ sinu awọn lupu
Pipọpọ alamọja 65B kan pẹlu magbowo 1.5B lati mu ilọsiwaju iran ti o pari laisi atunṣe-dara
Idinku atunwi ibajẹ ni akopọ ati awọn abajade ifọrọwerọ
Ṣiṣẹ bi ipilẹ fun itansan ara-ara DoLa lati dinku awọn hallucinations otitọ
Ojo iwaju ti Iyipada Iyipada
Yiyipada ilodisi ti ṣe atilẹyin idile ti awọn ọna 'itansan ni itọkasi', pẹlu DoLa (titọka awoṣe ti ara rẹ ni kutukutu dipo awọn ipele pẹlẹ lati ge hallucination) ati awọn iyatọ ti o mọ ọrọ-ọrọ ti o ṣe iyatọ pẹlu ati laisi awọn iwe aṣẹ ti a gba pada. Reti isọpọ titọ pẹlu igbapada, igbelewọn otitọ, ati distillation magbowo kekere, pẹlu apapo pẹlu iyipada arosọ ki magbowo mejeeji n ṣakoso didara ati mu iran yara ni nigbakannaa.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iyara ati iwọn. Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
- Wiwọle ati arọwọto. O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
- Awọn ipinnu diẹ sii. Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ṣọra fun
- Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
- Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
- Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Next awọn igbesẹ
- Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
- Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
- Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
- Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Contrastive Decoding quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
What is Contrastive Decoding?
Iyipada iyipada iyatọ n ṣe agbejade ọrọ ti o ni agbara giga nipasẹ iyokuro awọn ifarahan ti awoṣe ede kekere, alailagbara lati awọn ti o tobi, ti o lagbara. O ṣe alekun ohun ti alamọja mọ ati magbowo naa padanu, idinku atunwi ati iṣẹjade alaburuku.
Ni iyipada iyatọ, ipa wo ni awoṣe 'magbowo' kekere ṣe?
Awọn iṣeeṣe log-magbowo ti wa ni iyokuro lati ọdọ amoye, fagile awọn aṣiṣe eto (gẹgẹbi ayanfẹ awọn ami loorekoore) ti awọn awoṣe mejeeji pin.
Kini idi ti iyokuro awọn iṣeeṣe magbowo naa dinku atunwi ati iṣẹjade alaiwu?
Mejeeji awọn awoṣe ṣọ lati ju-fẹ ga-igbohunsafẹfẹ ati awọn ami atunwi; iyokuro osere magbowo yọ kuro ti o pin irẹjẹ, sisọ awọn aṣayan alaburuku.
What does the adaptive plausibility constraint do in contrastive decoding?
The constraint removes low-expert-probability tokens before contrastive scoring; it does not certify the coherence or truth of the final output.
Ni aijọju kini agbekalẹ igbelewọn ni iyipada iyatọ?
Oludije kọọkan jẹ ami-idiwọn bi iṣeeṣe log-iṣeeṣe iwé iyokuro iṣeeṣe log-magbowo ti o ni iwuwo, awọn ami ti o ni ere ti alamọja fẹ ni iyasọtọ.
Eyi ti nigbamii ọna fa awọn itansan agutan to kan nikan awoṣe ile ti ara fẹlẹfẹlẹ?
DoLa ṣe iyatọ ti ti tọjọ awoṣe (ibẹrẹ-Layer) ati awọn asọtẹlẹ ti ogbo (Layer-Layer) lati dinku hallucination, lilo imọran itansan laarin awoṣe kan.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii