Basisprincipes GIDS
Waarom LLM's moeite hebben om brieven te tellen
Grote taalmodellen hebben moeite met het tellen van letters, omdat ze de tekst niet teken voor teken lezen.
Luister naar deze gidsAI-verteld · ~3 min
Op deze pagina4 minuten lezen
Overzicht
Ze lezen tokens, dit zijn stukjes karakter, zodat de afzonderlijke letters in een woord vaak nooit direct zichtbaar zijn voor het model. Dit ene feit verklaart een hele familie van vreemde fouten bij het spellen, tellen, omkeren en rijmen, en het vertelt je hoe je er omheen kunt werken.
Diepe duik
Voordat een taalmodel tekst ziet, splitst een tokenizer deze op in tokens. De meeste moderne tokenizers gebruiken een methode zoals bytepaarcodering, die gemeenschappelijke tekenreeksen leert uit een grote hoeveelheid tekst. Vaak voorkomende woorden worden vaak één token, en zeldzamere woorden worden in een paar stukjes opgesplitst. Het model ontvangt vervolgens elk token als een getal en verandert het in een vector. Het ontvangt de letters binnen dat token nooit als afzonderlijke invoer. Dus als je vraagt hoeveel r's er in 'aardbei' zitten, scant het model geen tien tekens. Het ziet misschien twee of drie brokken, en moet zich uit patronen die hij tijdens de training heeft geleerd, herinneren welke letters die brokken bevatten. Die kennis bestaat, maar is indirect en vaag, alsof je wordt gevraagd hoe vaak de letter e voorkomt in een woord dat je alleen maar als afbeelding hebt gezien. De aardbeienvraag werd in 2024 een breed gedeeld voorbeeld, juist omdat het antwoord voor mensen duidelijk is en verrassend moeilijk voor chatbots. Dezelfde oorzaak veroorzaakt gerelateerde fouten: spelfouten wanneer gevraagd wordt om hardop te spellen, woorden verkeerd omkeren, falende op letters gebaseerde beperkingen zoals acrostichons of lipogrammen, en het verkeerd tellen van tekens voor lengtelimieten. Exacte splitsingen verschillen tussen tokenizers, dus het ene model kan een bepaald woord goed hebben, terwijl het andere model faalt. Een veel voorkomende misvatting is dat dit aantoont dat modellen niet kunnen redeneren of simpelweg onzorgvuldig zijn. De limiet ligt meestal in het invoerformaat, niet in de algemene redenering. Wanneer een model wordt gevraagd het woord eerst te spellen, heeft elke letter de neiging een eigen teken te worden, en wordt tellen een veel eenvoudiger taak. Nieuwere redeneermodellen voeren deze spellingstap vaak zelf uit, wat een van de redenen is dat ze deze vragen vaker goed hebben. Voor alles waarbij nauwkeurigheid van belang is, is het uitvoeren van een kort stukje code nog steeds de meest betrouwbare methode.
Implementatie in de echte wereld
Op de vraag hoe vaak de letter r voorkomt in 'aardbei', antwoordt een chatbot twee in plaats van drie, omdat het woord het model bereikt als een paar stukjes van meerdere letters in plaats van tien afzonderlijke letters.
Een leraar vraagt een model om een zin te schrijven waarin elk woord begint met de letter s, en er komen woorden tussen die dat niet doen, omdat hij de eerste letter van elk woord moet afleiden in plaats van deze te zien.
Een ontwikkelaar vraagt om het woord 'encyclopedie' achterstevoren gespeld en krijgt een versie met verwisselde of ontbrekende letters; Door het model te vragen om eerst de letters één per regel op te sommen en vervolgens de lijst om te draaien, wordt het probleem opgelost.
Een puzzel-app heeft exacte letteraantallen nodig voor een woordspel, dus berekent hij deze met een enkele regel gewone code en gebruikt hij het model alleen om de hints te schrijven.
De toekomst van waarom LLM's moeite hebben om brieven te tellen
Onderzoekers onderzoeken modellen die rechtstreeks op bytes of karakters werken, en hybride ontwerpen die bytes dynamisch groeperen, wat taken op karakterniveau natuurlijker zou kunnen maken. Deze benaderingen hebben nadelen, omdat langere invoerreeksen meer rekenkracht kosten. Ondertussen verminderen redeneermodellen die woorden stap voor stap spellen en modellen die codetools aanroepen in de praktijk al veel van deze fouten. Het is redelijk om in de loop van de tijd minder gênante mislukkingen bij het tellen van letters te verwachten, maar voor taken waarbij exacte karaktertellingen nodig zijn, zal het gebruik van code in plaats van te vertrouwen op de terugroeping van een model waarschijnlijk een goede gewoonte blijven.
Het in de praktijk brengen
Waarom het ertoe doet
- Duidelijkere beslissingen. Het helpt u duidelijke technische claims te scheiden van marketingtaal.
- Kosten en budget. U kunt betere implementatievragen stellen voordat u geld of tijd uitgeeft.
- Team en workflow. Teams met gedeeld begrip nemen betere product-, beleids- en leerbeslissingen.
Pas op voor
- Verschillende teams kunnen dezelfde term verschillend gebruiken, dus definieer de reikwijdte vroeg.
- Benchmarks kunnen er sterk uitzien, terwijl de prestaties in de echte wereld ongelijkmatig zijn.
- Het negeren van datakwaliteit en evaluatieplannen zorgt vaak voor fragiele resultaten.
Volgende stappen
- Begin met een definitie in duidelijke taal van het gewenste resultaat.
- Kies één successtatistiek en één faalconditie voordat u gaat testen.
- Voer een kleine pilot uit met representatieve gegevens, niet met een gepolijste demoset.
- Documenteer waar Waarom LLM's moeite hebben om brieven te tellen helpt en waar eenvoudigere methoden beter zijn.
Blijf verkennen
Gratis nieuwsbrief
Ontvang de dagelijkse AI-briefing
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Take the Why LLMs Struggle to Count Letters quiz
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Veelgestelde vragen
Wat is de reden waarom LLM's moeite hebben om brieven te tellen?
Grote taalmodellen hebben moeite met het tellen van letters, omdat ze de tekst niet teken voor teken lezen. Ze lezen tokens, dit zijn stukjes karakter, zodat de afzonderlijke letters in een woord vaak nooit direct zichtbaar zijn voor het model. Dit ene feit verklaart een hele familie van vreemde fouten bij het spellen, tellen, omkeren en rijmen, en het vertelt je hoe je er omheen kunt werken.
Wat is de belangrijkste reden waarom taalmodellen letters in een woord verkeerd tellen?
Modellen ontvangen tokens, die vaak meerdere karakters bevatten. De letters in een token zijn geen afzonderlijke invoer, dus het model moet ze indirect oproepen.
Wat produceert een tokenizer uit een stukje tekst?
De tokenizer splitst tekst in stukken uit een vast vocabulaire en wijst elk stuk toe aan een geheel getal-ID, dat vervolgens in een vector wordt omgezet.
Welke promptwijziging helpt een model het meest om letters correct te tellen?
Als u het woord schrijft met scheidingstekens zoals s-t-r-a-w, wordt elke letter gewoonlijk in een eigen token geplaatst, wat het tellen een veel eenvoudiger taak maakt.
Door wat te doen, bouwt bytepaarcodering zijn woordenschat op?
BPE begint met bytes of karakters en blijft het meest voorkomende aangrenzende paar samenvoegen, zodat gewone strings enkele tokens worden.
Waarom kunnen 'Aardbei' en 'Aardbei' door een model anders worden behandeld?
Tokenizers bevatten vaak voorloopspaties en hoofdletters in tokens, dus kleine veranderingen aan het oppervlak kunnen verschillende tokensplitsingen veroorzaken.
Blijf leren
Gerelateerde gidsen
Er zijn meer handleidingen voor dit onderwerp geselecteerd