Perdu au milieu de l'effet
L'effet « perdu au milieu » est la tendance des modèles de langage à utiliser au mieux les informations lorsqu'elles apparaissent au début ou à la fin d'une longue entrée, tout en négligeant les faits enfouis au milieu.
Aperçu
It matters because it limits how much we can trust long-context models with retrieved documents.
Plongée profonde
Identifié dans une étude réalisée en 2023 par Liu et ses collègues de Stanford, cet effet est apparu lorsque les modèles recevaient de nombreux documents et étaient invités à répondre en utilisant celui qui contenait le fait clé. La précision formait une courbe en forme de U : la plus élevée lorsque le passage concerné se trouvait au début ou à la fin de l'invite, et sensiblement plus faible lorsqu'il se trouvait au milieu. Cela était valable même pour les modèles commercialisés comme étant capables de fonctionner en contexte long. L'implication est forte pour la génération augmentée par récupération : insérer des dizaines de passages dans une invite ne garantit pas que le modèle les lit de manière uniforme. La position, et pas seulement la présence, détermine si un modèle est attentif à un fait. Le travail a recadré le contexte long comme une question d’utilisation efficace et non comme une question de taille brute de la fenêtre.
Aperçu technique
La courbe en forme de U provient probablement de la manière dont l’attention et les encodages de position répartissent la concentration. Les biais de primauté et de récence, en partie hérités de la structure des données de formation et des schémas de position, donnent un poids supplémentaire aux jetons précoces et tardifs. Certaines architectures de décodeur propagent également fortement les informations des premiers jetons à travers les couches. Le résultat net est que les positions médianes reçoivent une attention diluée, de sorte qu'une réponse correcte qui y est placée peut être effectivement ignorée même lorsqu'elle est pleinement présente dans son contexte.
Impact stratégique
Vitesse et échelle
Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
Accès et portée
Il étend l’accès à toutes les langues et styles de communication.
Décisions plus claires
Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
L’avenir de Lost in the Middle Effect
Les chercheurs s'attaquent à cet effet par des modifications de l'attention, un entraînement tenant compte de la position et une récupération plus intelligente qui reclasse les passages les plus pertinents jusqu'aux bords de l'invite. Les suites d'évaluation incluent désormais des tests « une aiguille dans une botte de foin » pour tous les postes afin de mesurer le contexte efficace. À mesure que les architectures s’améliorent, la courbe en U s’aplatit, mais les praticiens continueront à concevoir des pipelines qui placent les preuves critiques là où les modèles se présentent réellement plutôt que de faire confiance à une attention uniforme.
Mise en œuvre dans le monde réel
Un système RAG récupère 20 documents mais manque la réponse car il a atterri dans le passage 10 sur 20.
Les ingénieurs reclassent les résultats de recherche pour placer l’élément le plus pertinent en premier ou en dernier dans l’invite.
Un résumé de document long sous-estime les détails clés qui apparaissent à mi-chemin d’un contrat.
Une référence « aiguille dans une botte de foin » cache un fait à différentes profondeurs pour cartographier la précision de la position d'un modèle.
Risques et garde-fous
Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Feuille de route de mise en œuvre
Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lost in the Middle Effect quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Génération d'effets sonores
Questions fréquemment posées
What is Lost in the Middle Effect?
L'effet « perdu au milieu » est la tendance des modèles de langage à utiliser au mieux les informations lorsqu'elles apparaissent au début ou à la fin d'une longue entrée, tout en négligeant les faits enfouis au milieu. C'est important car cela limite la mesure dans laquelle nous pouvons faire confiance aux modèles à contexte long avec les documents récupérés.
Quelle forme prend la précision lorsque le fait clé se déplace dans une longue invite ?
La précision est la plus élevée lorsque les informations pertinentes se situent vers le début ou la fin et plongent au milieu, formant une forme de U.
Qu'implique l'effet de perte au milieu pour la génération augmentée par récupération ?
Il ne suffit pas d’inclure simplement un passage ; son emplacement dans l'invite modifie la probabilité que le modèle l'utilise.
Quels biais seraient à l’origine de cet effet ?
Une attention particulière portée aux première et dernière positions, liée aux codages de position et à la structure de formation, produit la courbe en U.
Les modèles à contexte long évitent-ils automatiquement cet effet ?
L'étude a révélé cet effet dans les modèles commercialisés comme étant à contexte long, montrant que la taille de la fenêtre ne garantit pas une utilisation uniforme.
Quelle mesure pratique permet de contrer cet effet dans un pipeline ?
Placer les preuves les plus pertinentes près du début ou de la fin les aligne avec l’endroit où le modèle est le plus présent.