À suivreGuide suivant
Optimisation des préférences directes
IA linguistique
GUIDE IA du langage
Optimisation Kahneman-Tversky
L'optimisation Kahneman-Tversky (KTO) est une méthode d'alignement qui apprend à partir de simples étiquettes avec un pouce levé ou un pouce vers le bas au lieu de comparaisons par paires.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
C’est important car les commentaires binaires sont beaucoup plus faciles et moins coûteux à collecter que les paires classées exigées par la plupart des méthodes.
Plongée profonde
KTO, introduit par Ethayarajh et ses collègues de Stanford et Contextual AI en 2024, emprunte à la théorie des perspectives, les travaux lauréats du prix Nobel de Daniel Kahneman et Amos Tversky sur la façon dont les humains évaluent les gains et les pertes. Les méthodes standard comme DPO nécessitent des paires de préférences : une réponse choisie et une réponse rejetée pour la même invite. KTO fonctionne plutôt avec des données non appariées où chaque sortie individuelle est simplement marquée comme souhaitable ou indésirable. Il construit une perte consciente de l'homme qui traite l'amélioration du modèle sur un échantillon comme un gain ou une perte par rapport à un point de référence, en appliquant une aversion aux pertes afin que les résultats indésirables soient pénalisés plus fortement que les résultats souhaitables ne soient récompensés. Cela permet aux équipes d'utiliser les nombreux signaux pouce vers le haut/bas déjà collectés dans les applications de production.
Mise en œuvre dans le monde réel
Utiliser les clics pouce vers le haut/pouce vers le bas d'un chatbot déployé pour l'affiner sans jamais créer de paires de préférences
Aligner un modèle lorsque vous avez une pile de « bonnes » et de « mauvaises » réponses mais aucune comparaison correspondante pour les mêmes invites
Une équipe produit recyclant les indicateurs de modération (indésirables) et les réponses enregistrées (souhaitables) dans la formation KTO
Gérer les commentaires déséquilibrés où les aversions sont plus rares que les goûts en ajustant l'aversion aux pertes et les pondérations de classe de KTO
L'avenir de l'optimisation Kahneman-Tversky
KTO est bien adapté aux produits réels, dans lesquels les utilisateurs cliquent naturellement sur « J’aime » ou « Je n’aime pas », mais classent rarement deux réponses côte à côte. Attendez-vous à une adoption plus large des boucles d’amélioration continue qui recyclent les commentaires sur la production, ainsi qu’à des recherches ajustant le rapport entre les données souhaitables et indésirables et le poids de l’aversion aux pertes. Combiner le cadre d'économie comportementale de KTO avec d'autres objectifs et l'appliquer à la rétroaction multimodale sont des orientations actives alors que les équipes cherchent à s'aligner sur les signaux désordonnés du monde réel.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
- Accès et portée. Il étend l’accès à toutes les langues et styles de communication.
- Décisions plus claires. Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
Attention à
- Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
- La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
- Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Prochaines étapes
- Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
- Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
- Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
- Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Kahneman-Tversky Optimization quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que l’optimisation Kahneman-Tversky ?
L'optimisation Kahneman-Tversky (KTO) est une méthode d'alignement qui apprend à partir de simples étiquettes avec un pouce levé ou un pouce vers le bas au lieu de comparaisons par paires. C’est important car les commentaires binaires sont beaucoup plus faciles et moins coûteux à collecter que les paires classées exigées par la plupart des méthodes.
De quels types de données KTO a-t-il besoin ?
KTO apprend à partir de simples étiquettes pouce vers le haut/bas par exemple plutôt que de paires de préférences correspondantes.
De quelle œuvre KTO s’inspire-t-il ?
KTO emprunte l’idée de la théorie des perspectives consistant à évaluer les gains et les pertes de manière asymétrique, d’où son nom.
Qu’est-ce que « l’aversion aux pertes » telle qu’utilisée dans KTO ?
La théorie des perspectives affirme que les pertes semblent plus importantes que les gains, de sorte que le KTO pondère plus fortement les écarts négatifs.
What kind of feedback can KTO learn from without requiring paired comparisons?
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
Dans KTO, les écarts sont mesurés par rapport à quoi ?
La fonction de valeur de KTO juge si une réponse se situe au-dessus ou en dessous d'une ligne de référence, en la traitant comme un gain ou une perte.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet