À suivreGuide suivant
How Leading Questions Bias AI Answers
IA linguistique
GUIDE IA du langage
Biais logitique
Le biais logit est un bouton qui pousse un modèle de langage vers ou loin de jetons spécifiques en ajoutant un nombre fixe à leurs scores avant que le modèle ne sélectionne le mot suivant.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
C'est un moyen léger d'interdire des mots, de forcer des choix ou de façonner le style sans rien recycler.
Plongée profonde
Avant qu'un modèle ne choisisse son prochain jeton, il produit un logit (un score non normalisé) pour chaque jeton de son vocabulaire. Le biais de logit vous permet d'ajouter une valeur constante aux logits des jetons choisis par leurs identifiants numériques de jeton. Un biais positif important rend un jeton beaucoup plus susceptible d'être échantillonné ; un biais négatif important (souvent -100 dans les API) l'interdit effectivement. Étant donné que l’ajustement se produit avant le softmax qui transforme les scores en probabilités, même des biais modestes modifient de manière significative la distribution. Fondamentalement, le biais est lié aux identifiants de jetons, et non à des mots entiers. Ainsi, un mot à plusieurs jetons peut nécessiter que chacun de ses éléments soit biaisé pour le supprimer ou le promouvoir complètement. Il s’agit d’un contrôle chirurgical rapide, ne nécessitant aucun réglage fin et s’appliquant à la demande.
Mise en œuvre dans le monde réel
Définition d'un biais de -100 sur les jetons de grossièretés pour empêcher un chatbot de produire certains mots.
Forcer un classificateur oui/non en donnant un fort biais positif aux jetons « Oui » et « Non » et en supprimant tout le reste.
Décourager une phrase surutilisée ou un mot de remplissage en appliquant un biais négatif modéré à ses jetons.
Renforcer les termes spécifiques à un domaine (comme un nom de produit) afin qu'un résumé les mentionne de manière fiable.
L’avenir du biais Logit
Le biais logit reste un élément essentiel pour un pilotage rapide, mais des alternatives plus riches se multiplient : décodage structuré/contraint pour des garanties fermes, et pilotage d'activation ou ingénierie de représentation qui poussent les vecteurs internes d'un modèle plutôt que de simples scores de sortie. Attendez-vous à ce que les API conservent le biais logit comme une simple échappatoire tout en offrant des contrôles de niveau supérieur (phrases interdites, directives de style, filtres de sécurité) qui gèrent automatiquement la tokenisation afin que les développeurs n'aient pas à raisonner sur les identifiants bruts des jetons.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
- Accès et portée. Il étend l’accès à toutes les langues et styles de communication.
- Décisions plus claires. Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
Attention à
- Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
- La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
- Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Prochaines étapes
- Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
- Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
- Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
- Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Logit Bias quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que le biais logit ?
Le biais logit est un bouton qui pousse un modèle de langage vers ou loin de jetons spécifiques en ajoutant un nombre fixe à leurs scores avant que le modèle ne sélectionne le mot suivant. C'est un moyen léger d'interdire des mots, de forcer des choix ou de façonner le style sans rien recycler.
Que modifie le biais logit ?
Le biais logit ajoute une constante aux logits des identifiants de jetons choisis, modifiant la probabilité qu'ils soient sélectionnés, sans modifier le modèle lui-même.
Dans de nombreuses API, qu'est-ce qu'un biais logit de -100 sur un jeton accomplit ?
Un biais négatif important tel que -100 ramène la probabilité post-softmax du jeton à pratiquement zéro, de sorte qu'il n'est pratiquement jamais produit.
What numeric range does the documented OpenAI Chat Completions logit_bias accept for a token?
The API reference documents a range of -100 to 100 for each token ID, where negative values decrease likelihood and positive values increase it.
Le biais logit est lié à quel identifiant ?
Les valeurs de biais sont appliquées à des ID de jeton spécifiques du vocabulaire du tokenizer, c'est pourquoi vous devez connaître les ID des morceaux d'un mot.
Étant donné que les logits passent par un softmax, quel est l'effet de l'ajout d'un biais positif ?
Softmax expose les logits, de sorte que même un biais positif modeste multiplie considérablement le poids non normalisé d'un jeton, augmentant ainsi considérablement ses chances.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet