VolgendeVolgende gids
AI-geletterdheidslessen voor de middelbare school
Taal AI
Taal AI-GIDS
Het 'lost in the middle'-effect is de neiging van taalmodellen om informatie het beste te gebruiken wanneer deze aan het begin of einde van een lange invoer verschijnt, terwijl feiten die in het midden verborgen liggen over het hoofd worden gezien.
Luister naar deze gidsAI-verteld · ~2 min
Het is van belang omdat het beperkt hoeveel we lange-contextmodellen kunnen vertrouwen met opgehaalde documenten.
Het effect werd geïdentificeerd in een onderzoek uit 2023 door Liu en collega's van Stanford en deed zich voor toen modellen veel documenten kregen en gevraagd werd te antwoorden met behulp van een document dat het belangrijkste feit bevatte. De nauwkeurigheid vormde een U-vormige curve: het hoogst als de relevante passage aan het begin of einde van de prompt stond, en merkbaar lager als deze in het midden zat. Dit gold zelfs voor modellen die op de markt werden gebracht als geschikt voor een lange context. De implicatie is scherp voor retrieval-augmented generatie: het stoppen van tientallen passages in een prompt garandeert niet dat het model ze gelijkmatig leest. Positie, en niet alleen aanwezigheid, bepaalt of een model aandacht besteedt aan een feit. Het werk herkaderde de lange context als een kwestie van effectief gebruik, niet van de ruwe venstergrootte.
Een RAG-systeem haalt 20 documenten op, maar mist het antwoord omdat het in passage 10 van 20 is beland.
Ingenieurs herschikken de zoekresultaten, zodat het meest relevante deel als eerste of als laatste in de prompt wordt geplaatst.
In een samenvatting van lange documenten wordt de belangrijkste details die halverwege een contract verschijnen onderbelicht.
Een 'naald in een hooiberg'-benchmark verbergt een feit op verschillende diepten om de positionele nauwkeurigheid van een model in kaart te brengen.
Onderzoekers pakken dit effect aan met aandachtsaanpassingen, positiebewuste training en slimmer ophalen, waarbij de meest relevante passages opnieuw worden gerangschikt naar de randen van de prompt. Evaluatiesuites omvatten nu 'naald in een hooiberg'-testen voor verschillende posities om de effectieve context te meten. Naarmate de architectuur verbetert, wordt de U-curve vlakker, maar praktijkmensen zullen pijplijnen blijven ontwerpen die kritisch bewijsmateriaal daar plaatsen waar modellen er daadwerkelijk uitzien, in plaats van te vertrouwen op uniforme aandacht.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Het 'lost in the middle'-effect is de neiging van taalmodellen om informatie het beste te gebruiken wanneer deze aan het begin of einde van een lange invoer verschijnt, terwijl feiten die in het midden verborgen liggen over het hoofd worden gezien. Het is van belang omdat het beperkt hoeveel we lange-contextmodellen kunnen vertrouwen met opgehaalde documenten.
The paper observed a U-shaped pattern with weaker performance in the middle.
The study evaluated long-context use with retrieval-style tasks.
The study found performance can depend on the position of relevant information.
The guide says stuffing passages does not ensure they are used evenly.
The paper observes that position affects effective use, not simply presence.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
AI-geletterdheidslessen voor de middelbare school
Taal AI