DalšíDalší průvodce
Jak navádějící otázky ovlivňují odpovědi AI
Jazyk AI
Jazyk AI GUIDE
Logit bias je knoflík, který posune jazykový model směrem ke konkrétním tokenům nebo od nich tím, že k jejich skóre přidá pevné číslo, než model vybere další slovo.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Je to jednoduchý způsob, jak zakázat slova, vynutit si volby nebo tvarovat styl, aniž byste cokoli přeškolovali.
Než si model vybere svůj další žeton, vytvoří logit (nenormalizované skóre) pro každý žeton ve svém slovníku. Logit bias vám umožňuje přidat konstantní hodnotu k logitům vybraných tokenů podle jejich číselných ID tokenů. Díky velkému kladnému zkreslení je mnohem pravděpodobnější, že bude token odebrán; velké negativní zkreslení (často -100 v API) to fakticky zakazuje. Vzhledem k tomu, že k úpravě dojde před softmaxem, který změní skóre na pravděpodobnost, i mírné odchylky významně posunou distribuci. Zásadní je, že zaujatost je klíčována na ID tokenů, nikoli na celá slova – takže slovo s více tokeny může vyžadovat zaujatost každého z jeho částí, aby je zcela potlačilo nebo podpořilo. Jedná se o rychlou, chirurgickou kontrolu, která nevyžaduje žádné jemné dolaďování a aplikuje se na žádost.
Nastavení zkreslení -100 na žetony vulgárních výrazů, aby se zabránilo chatbotovi produkovat určitá slova.
Vynucení klasifikátoru ano/ne poskytnutím silného pozitivního zkreslení tokenům „Ano“ a „Ne“ a potlačením všeho ostatního.
Odrazování nadužívané fráze nebo výplňového slova tím, že na jejich tokeny použijete mírné negativní zkreslení.
Posílení termínů specifických pro doménu (jako je název produktu), aby je sumarizátor spolehlivě zmiňoval.
Logit bias zůstává základem rychlého řízení, ale přibývají bohatší alternativy: strukturované/omezené dekódování pro pevné záruky a řízení aktivace nebo reprezentační inženýrství, které posouvá vnitřní vektory modelu spíše než jen výstupní skóre. Očekávejte, že rozhraní API udrží zkreslení logit jako jednoduchý únikový nástroj a zároveň nabídnou ovládání vyšší úrovně – zakázané fráze, direktivy stylu, bezpečnostní filtry – které zpracovávají tokenizaci automaticky, takže vývojáři nemusí uvažovat o nezpracovaných ID tokenů.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Logit bias je knoflík, který posune jazykový model směrem ke konkrétním tokenům nebo od nich tím, že k jejich skóre přidá pevné číslo, než model vybere další slovo. Je to jednoduchý způsob, jak zakázat slova, vynutit si volby nebo tvarovat styl, aniž byste cokoli přeškolovali.
Logit bias přidává k logitům vybraných ID tokenů konstantu, čímž mění pravděpodobnost, že budou vybrány, aniž by se změnil samotný model.
Velké záporné vychýlení jako -100 žene pravděpodobnost tokenu po softmaxu v podstatě na nulu, takže se prakticky nikdy nevytvoří.
The API reference documents a range of -100 to 100 for each token ID, where negative values decrease likelihood and positive values increase it.
Hodnoty zkreslení se aplikují na konkrétní ID tokenů ze slovníku tokenizátora, a proto musíte znát ID částí slova.
Softmax umocňuje logity, takže i mírné kladné zkreslení podstatně znásobí nenormalizovanou váhu tokenu a prudce zvýší jeho šance.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Jak navádějící otázky ovlivňují odpovědi AI
Jazyk AI