VolgendeVolgende gids
Hoe toonaangevende vragen AI beantwoorden
Taal AI
Taal AI-GIDS
Logit-bias is een knop die een taalmodel naar specifieke tokens of weg van specifieke tokens duwt door een vast getal aan hun scores toe te voegen voordat het model het volgende woord kiest.
Luister naar deze gidsAI-verteld · ~2 min
It is a lightweight way to ban words, force choices, or shape style without retraining anything.
Voordat een model zijn volgende token kiest, produceert het een logit (een niet-genormaliseerde score) voor elk token in zijn vocabulaire. Met Logit bias kunt u een constante waarde toevoegen aan de logits van gekozen tokens op basis van hun numerieke token-ID's. Een grote positieve bias zorgt ervoor dat een token veel waarschijnlijker wordt bemonsterd; een grote negatieve bias (vaak -100 in API's) verbiedt dit feitelijk. Omdat de aanpassing plaatsvindt vóór de softmax die scores in waarschijnlijkheden omzet, kunnen zelfs bescheiden vooroordelen de verdeling op betekenisvolle wijze verschuiven. Cruciaal is dat de vooringenomenheid betrekking heeft op token-ID's, en niet op hele woorden. Het kan dus nodig zijn dat voor een woord met meerdere tokens elk van de delen ervan bevooroordeeld is om het volledig te onderdrukken of te promoten. Het is een snelle, chirurgische controle die geen fijnafstemming vereist en op aanvraag wordt toegepast.
Een bias van -100 instellen op godslasteringstokens om te voorkomen dat een chatbot ooit bepaalde woorden produceert.
Het forceren van een ja/nee-classificator door een sterke positieve bias te geven aan de 'Ja'- en 'Nee'-tokens en al het andere te onderdrukken.
Een te veel gebruikte zin of opvulwoord ontmoedigen door een gematigde negatieve bias op de tokens toe te passen.
Domeinspecifieke termen (zoals een productnaam) promoten, zodat een samenvatting deze op betrouwbare wijze vermeldt.
Logit bias blijft een basisvoorwaarde voor snelle sturing, maar er komen steeds rijkere alternatieven: gestructureerde/beperkte decodering voor harde garanties, en activatiesturing of representatie-engineering die de interne vectoren van een model een duwtje in de rug geeft in plaats van alleen maar de outputscores. Verwacht dat API's de logit-bias behouden als een eenvoudig ontsnappingsluik en tegelijkertijd controles op een hoger niveau bieden - verboden zinnen, stijlrichtlijnen, veiligheidsfilters - die de tokenisatie automatisch afhandelen, zodat ontwikkelaars niet hoeven te redeneren over onbewerkte token-ID's.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Logit-bias is een knop die een taalmodel naar specifieke tokens of weg van specifieke tokens duwt door een vast getal aan hun scores toe te voegen voordat het model het volgende woord kiest. Het is een lichtgewicht manier om woorden te verbieden, keuzes af te dwingen of stijl vorm te geven zonder iets opnieuw te trainen.
Logit bias voegt een constante toe aan de logits van gekozen token-ID’s, waardoor de kans dat ze worden geselecteerd verandert, zonder het model zelf te veranderen.
Een grote negatieve bias zoals -100 drijft de post-softmax-waarschijnlijkheid van het token naar vrijwel nul, dus het wordt vrijwel nooit geproduceerd.
The API reference documents a range of -100 to 100 for each token ID, where negative values decrease likelihood and positive values increase it.
Biaswaarden worden toegepast op specifieke token-ID's uit de woordenschat van de tokenizer. Daarom moet u de ID's voor de delen van een woord kennen.
Softmax exponentieert logits, dus zelfs een bescheiden positieve bias vermenigvuldigt het niet-genormaliseerde gewicht van een token substantieel, waardoor de kansen scherp toenemen.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Hoe toonaangevende vragen AI beantwoorden
Taal AI