DalšíDalší průvodce
Dekódování minimálního Bayesova rizika
Jazyk AI
Jazyk AI GUIDE
Kontrastní dekódování vytváří kvalitnější text odečtením tendencí malého, slabého jazykového modelu od tendencí velkého, silného.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Zesiluje to, co odborník ví a amatér přehlédne, snižuje opakování a nevýrazný výstup.
Contrastive decoding scores candidate tokens using an expert model and an amateur model, subtracting a weighted amateur log-probability from the expert score. It can suppress tokens that both models favor, including some generic or repetitive continuations. An adaptive plausibility constraint filters out tokens whose expert probability is too small relative to the expert’s highest-probability token. This constraint limits candidates; it does not guarantee coherent, grammatical, or truthful output. Output quality depends on the models, coefficient, threshold, prompt, and task, so evaluate the full generation. The method runs at inference time with two models and requires no additional training.
Vytváření dlouhých, neopakujících se pokračování příběhů nebo článků, kde se vzorkování jádra mění do smyček
Spárování 65B experta s 1,5B amatérem pro zlepšení otevřené generace bez jemného ladění
Snížení degenerovaného opakování ve výstupech shrnutí a dialogů
Slouží jako základ pro sebekontrast ve stylu DoLa k nižším faktickým halucinacím
Kontrastivní dekódování inspirovalo rodinu metod „kontrast při vyvozování“, včetně DoLa (kontrastování vlastní rané a pozdní vrstvy modelu, aby se snížily halucinace) a kontextově uvědomělých variant, které kontrastují s načtenými dokumenty a bez nich. Očekávejte těsnější integraci s vyhledáváním, hodnocením faktičnosti a malou amatérskou destilací, plus kombinaci se spekulativním dekódováním, takže amatér řídí kvalitu a zároveň urychluje generování.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Kontrastní dekódování vytváří kvalitnější text odečtením tendencí malého, slabého jazykového modelu od tendencí velkého, silného. Zesiluje to, co odborník ví a amatér přehlédne, snižuje opakování a nevýrazný výstup.
Log-pravděpodobnosti amatéra se odečítají od pravděpodobnosti experta, čímž se ruší systematické chyby (jako upřednostňování častých tokenů), které oba modely sdílejí.
Oba modely mají tendenci upřednostňovat vysokofrekvenční a opakující se tokeny; odečtením amatérů se odstraní tato sdílená zaujatost a sníží se nevýrazné volby.
The constraint removes low-expert-probability tokens before contrastive scoring; it does not certify the coherence or truth of the final output.
Každý kandidát je ohodnocen jako logaritmická pravděpodobnost experta mínus vážená amatérská logaritmická pravděpodobnost, odměňující žetony, které expert jedinečně preferuje.
DoLa staví do kontrastu modelové předčasné (rané vrstvy) a zralé (pozdní vrstvy) předpovědi, aby se snížily halucinace, přičemž koncept kontrastu aplikuje v rámci jednoho modelu.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Dekódování minimálního Bayesova rizika
Jazyk AI