À suivreGuide suivant
AI Literacy Lessons for Middle School
IA linguistique
GUIDE IA du langage
Perdu au milieu de l'effet
L'effet « perdu au milieu » est la tendance des modèles de langage à utiliser au mieux les informations lorsqu'elles apparaissent au début ou à la fin d'une longue entrée, tout en négligeant les faits enfouis au milieu.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
C'est important car cela limite la mesure dans laquelle nous pouvons faire confiance aux modèles à contexte long avec les documents récupérés.
Plongée profonde
Identifié dans une étude réalisée en 2023 par Liu et ses collègues de Stanford, cet effet est apparu lorsque les modèles recevaient de nombreux documents et étaient invités à répondre en utilisant celui qui contenait le fait clé. La précision formait une courbe en forme de U : la plus élevée lorsque le passage concerné se trouvait au début ou à la fin de l'invite, et sensiblement plus faible lorsqu'il se trouvait au milieu. Cela était valable même pour les modèles commercialisés comme étant capables de fonctionner en contexte long. L'implication est forte pour la génération augmentée par récupération : insérer des dizaines de passages dans une invite ne garantit pas que le modèle les lit de manière uniforme. La position, et pas seulement la présence, détermine si un modèle est attentif à un fait. Le travail a recadré le contexte long comme une question d’utilisation efficace et non comme une question de taille brute de la fenêtre.
Mise en œuvre dans le monde réel
Un système RAG récupère 20 documents mais manque la réponse car il a atterri dans le passage 10 sur 20.
Les ingénieurs reclassent les résultats de recherche pour placer l’élément le plus pertinent en premier ou en dernier dans l’invite.
Un résumé de document long sous-estime les détails clés qui apparaissent à mi-chemin d’un contrat.
Une référence « aiguille dans une botte de foin » cache un fait à différentes profondeurs pour cartographier la précision de la position d'un modèle.
L’avenir de Lost in the Middle Effect
Les chercheurs s'attaquent à cet effet par des modifications de l'attention, un entraînement tenant compte de la position et une récupération plus intelligente qui reclasse les passages les plus pertinents jusqu'aux bords de l'invite. Les suites d'évaluation incluent désormais des tests « une aiguille dans une botte de foin » pour tous les postes afin de mesurer le contexte efficace. À mesure que les architectures s’améliorent, la courbe en U s’aplatit, mais les praticiens continueront à concevoir des pipelines qui placent les preuves critiques là où les modèles se présentent réellement plutôt que de faire confiance à une attention uniforme.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
- Accès et portée. Il étend l’accès à toutes les langues et styles de communication.
- Décisions plus claires. Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
Attention à
- Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
- La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
- Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Prochaines étapes
- Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
- Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
- Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
- Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Lost in the Middle Effect quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu'est-ce qui est perdu dans l'effet intermédiaire ?
L'effet « perdu au milieu » est la tendance des modèles de langage à utiliser au mieux les informations lorsqu'elles apparaissent au début ou à la fin d'une longue entrée, tout en négligeant les faits enfouis au milieu. C'est important car cela limite la mesure dans laquelle nous pouvons faire confiance aux modèles à contexte long avec les documents récupérés.
What positional pattern did the lost-in-the-middle study report?
The paper observed a U-shaped pattern with weaker performance in the middle.
What was the study’s task setup?
The study evaluated long-context use with retrieval-style tasks.
What does this effect imply about a large context window?
The study found performance can depend on the position of relevant information.
A RAG prompt includes many retrieved passages. What should be evaluated?
The guide says stuffing passages does not ensure they are used evenly.
Why might a relevant fact in the middle be missed?
The paper observes that position affects effective use, not simply presence.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet