À suivreGuide suivant
Dates limites des connaissances dans les LLM
IA linguistique
GUIDE IA du langage
Malédiction d'inversion dans les LLM
La malédiction du renversement est un mode d'échec surprenant dans lequel un modèle de langage qui apprend « A est B » ne peut pas répondre de manière fiable « B est A ». Cela révèle que les LLM stockent les faits sous forme d’associations unidirectionnelles et non sous forme de connaissances symétriques.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Plongée profonde
Documentée dans un article de 2023 par Berglund et ses collègues, la malédiction d'inversion montre que si un modèle est formé sur « la mère de Tom Cruise est Mary Lee Pfeiffer », il échoue souvent lorsqu'on lui demande « Qui est le fils de Mary Lee Pfeiffer ? même si la réponse est logiquement identique. L’effet persiste quelle que soit la taille du modèle et même après un ajustement précis sur des centaines de ces faits. Il ne s’agit pas d’un trou de mémoire : le modèle a vu l’information, mais seulement dans un seul ordre. Étant donné que la formation optimise la prédiction du jeton suivant sur l'ordre exact des mots dans les données, le lien statistique de A à B ne crée pas automatiquement un lien de B vers A. Cette découverte remet en question l'hypothèse selon laquelle l'échelle à elle seule produit un raisonnement flexible et semblable à celui d'un humain.
Mise en œuvre dans le monde réel
Un chatbot indique correctement le parent d'une célébrité, mais échoue lorsqu'on lui demande de nommer l'enfant célèbre de ce parent.
Un mannequin récite « le neuvième président était William Henry Harrison » mais bute sur « quel numéro de président était William Henry Harrison ».
Un assistant de codage qui a appris un mappage fonction-description ne peut pas récupérer le nom de la fonction à partir de la seule description.
Un système d'assurance qualité médicale formé sur « Le médicament X traite la condition Y » ne parvient pas à répertorier le médicament X lorsqu'on lui demande ce qui traite la condition Y.
L'avenir de la malédiction d'inversion dans les LLM
Les mesures d'atténuation à l'étude incluent l'augmentation bidirectionnelle des données (ajout de formulations inversées), des objectifs de formation qui prédisent les jetons dans les deux sens et des systèmes de récupération qui recherchent les faits de manière symétrique plutôt que de s'appuyer sur des poids mémorisés. Certaines architectures plus récentes et expériences de pré-entraînement inversé réduisent l'écart. Attendez-vous à ce que la malédiction diminue mais ne disparaisse pas, car elle révèle une profonde inadéquation entre l’apprentissage du prochain jeton et la structure symétrique des relations du monde réel.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
- Accès et portée. Il étend l’accès à toutes les langues et styles de communication.
- Décisions plus claires. Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
Attention à
- Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
- La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
- Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Prochaines étapes
- Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
- Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
- Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
- Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Répondez au quiz sur la malédiction du renversement dans les LLM
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu'est-ce que la malédiction d'inversion dans les LLM ?
La malédiction du renversement est un mode d'échec surprenant dans lequel un modèle de langage qui apprend « A est B » ne peut pas répondre de manière fiable « B est A ». Cela révèle que les LLM stockent les faits sous forme d’associations unidirectionnelles et non sous forme de connaissances symétriques.
Un modèle a appris « A est B » mais ne parvient pas à répondre « B est A ». Comment ça s’appelle ?
Le journal qualifie cet échec directionnel de malédiction du renversement.
Que montre la malédiction d’inversion sur les associations directionnelles ?
Le document rapporte que les déclarations forward et reverse peuvent se comporter différemment.
La malédiction du renversement est-elle simplement un échec parce que le modèle n’a jamais vu le fait ?
La recherche teste l’échec d’une requête inversée après une exposition directe.
Pourquoi la formation Next-Token pourrait-elle contribuer à cet effet ?
L'article discute de la direction de la séquence comme pertinente à l'échec.
Qu’implique l’échec d’une requête inversée sur la connaissance du modèle ?
Cette découverte remet en question les hypothèses concernant une utilisation flexible des faits stockés.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet