Taal AI-GIDS
Omkeringsvloek in LLM's
De omkeringsvloek is een verrassende faalwijze waarbij een taalmodel dat leert 'A is B' niet op betrouwbare wijze kan antwoorden op 'B is A.' Het laat zien dat LLM's feiten opslaan als eenrichtingsassociaties, en niet als symmetrische kennis.
Luister naar deze gidsAI-verteld · ~2 min
Op deze pagina2 min lezen
Diepe duik
De omkeervloek, gedocumenteerd in een artikel uit 2023 door Berglund en collega's, laat zien dat als een model wordt getraind op 'Tom Cruise's moeder is Mary Lee Pfeiffer', het vaak mislukt als wordt gevraagd 'Wie is de zoon van Mary Lee Pfeiffer?' ook al is het antwoord logisch identiek. Het effect blijft bestaan bij alle modelgroottes en zelfs na verfijning van honderden van dergelijke feiten. Er is geen sprake van een geheugenkloof: het model heeft de informatie gezien, maar slechts in één volgorde. Omdat training de voorspelling van de volgende token optimaliseert op basis van de exacte woordvolgorde in de gegevens, creëert de statistische link van A naar B niet automatisch een link van B terug naar A. De bevinding daagde de aannames uit dat schaal alleen flexibele, mensachtige redeneringen over feiten oplevert.
Implementatie in de echte wereld
Een chatbot vermeldt correct de ouder van een beroemdheid, maar faalt wanneer hem wordt gevraagd het beroemde kind van die ouder te noemen.
Een model zegt 'de negende president was William Henry Harrison', maar struikelt over 'welk nummer de president was William Henry Harrison.'
Een codeerassistent die een functie-naar-beschrijving-toewijzing heeft geleerd, kan de functienaam niet alleen uit de beschrijving halen.
Een medisch QA-systeem dat is getraind in 'Geneesmiddelen X behandelt aandoening Y' vermeldt geen geneesmiddel X wanneer wordt gevraagd wat aandoening Y behandelt.
De toekomst van Reversal Curse in LLM's
Maatregelen die worden onderzocht zijn onder meer bidirectionele gegevensvergroting (het toevoegen van omgekeerde bewoordingen), trainingsdoelstellingen die tokens in beide richtingen voorspellen, en ophaalsystemen die feiten symmetrisch opzoeken in plaats van te vertrouwen op opgeslagen gewichten. Sommige nieuwere architecturen en experimenten met omgekeerde voortraining verkleinen de kloof. Verwacht dat de vloek zal afnemen maar niet zal verdwijnen, omdat het een diepe mismatch blootlegt tussen next-token learning en de symmetrische structuur van relaties in de echte wereld.
Het in de praktijk brengen
Waarom het ertoe doet
- Snelheid en schaal. Taalworkflows kunnen sneller verlopen zonder dat dit ten koste gaat van de consistentie.
- Toegang en bereik. Het breidt de toegang uit naar meerdere talen en communicatiestijlen.
- Duidelijkere beslissingen. Teams kunnen meer tijd besteden aan beoordeling, terwijl automatisering de herhaling afhandelt.
Pas op voor
- Gehallucineerde feiten kunnen stilletjes rapporten binnendringen, stromen ondersteunen of onderzoeksresultaten opleveren.
- Gevoeligheid voor prompts kan inconsistente resultaten opleveren voor vergelijkbare verzoeken.
- Gevoelige tekstgegevens kunnen openbaar worden gemaakt als de toegangscontroles zwak zijn.
Volgende stappen
- Definieer het uitvoerformaat, de toon en de kwaliteitsnormen vóór de implementatie.
- Grondreacties met vertrouwde bronnen wanneer nauwkeurigheid belangrijk is.
- Houd een menselijk controlepunt bij voor resultaten met een hoge inzet.
- Houd faalpatronen bij en train prompts of workflows regelmatig opnieuw.
Blijf verkennen
Gratis nieuwsbrief
Ontvang de dagelijkse AI-briefing
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Take the Reversal Curse in LLMs quiz
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Veelgestelde vragen
Wat is Reversal Curse in LLM's?
De omkeringsvloek is een verrassende faalwijze waarbij een taalmodel dat leert 'A is B' niet op betrouwbare wijze kan antwoorden op 'B is A.' Het laat zien dat LLM's feiten opslaan als eenrichtingsassociaties, en niet als symmetrische kennis.
Een model leerde ‘A is B’, maar slaagt er niet in te antwoorden ‘B is A’. Hoe heet dit?
Het artikel noemt deze richtinggevende mislukking de omkeervloek.
Wat laat de omkeervloek zien over directionele associaties?
Het artikel meldt dat voorwaartse en achterwaartse uitspraken zich verschillend kunnen gedragen.
Is de omkeringsvloek eenvoudigweg een mislukking omdat het model dit feit nooit heeft gezien?
Het onderzoek test de mislukking van een omgekeerde zoekopdracht na voorwaartse blootstelling.
Waarom kan next-token-training bijdragen aan dit effect?
Het artikel bespreekt de richting van de volgorde als relevant voor de mislukking.
Wat impliceert het mislukken van een omgekeerde query over modelkennis?
De bevinding daagt aannames over flexibel gebruik van opgeslagen feiten uit.
Blijf leren
Gerelateerde gidsen
Er zijn meer handleidingen voor dit onderwerp geselecteerd