Proč se LLM snaží počítat dopisy

Než jazykový model uvidí jakýkoli text, tokenizér jej rozdělí na tokeny. Většina moderních tokenizérů používá metodu, jako je kódování párů bajtů, které se učí běžné sekvence znaků z velkého množství textu. Častá slova se často stávají jediným tokenem a vzácnější slova jsou rozdělena na několik částí. Model pak obdrží každý token jako číslo a převede ho na vektor. Nikdy nepřijímá písmena uvnitř tohoto tokenu jako samostatné vstupy. Takže když se zeptáte, kolik r je v 'jahoda', model neskenuje deset znaků. Vidí možná dva nebo tři kusy a musí si vybavit ze vzorců naučených během tréninku, která písmena tyto kusy obsahují. Tato znalost existuje, ale je nepřímá a nejasná, jako když se vás někdo zeptá, kolikrát se písmeno e vyskytuje ve slově, které jste kdy viděli jen jako obrázek. Jahodová otázka se v roce 2024 stala široce sdíleným příkladem právě proto, že odpověď je lidem zřejmá a pro chatboty překvapivě těžká. Stejná příčina způsobuje související chyby: překlepy, když jsou požádány o hláskování nahlas, nesprávné obrácení slov, selhání omezení založených na písmenech, jako jsou akrostichy nebo lipogramy, a chybné počítání znaků pro omezení délky. Přesná rozdělení se mezi tokenizéry liší, takže jeden model může dostat dané slovo správně, zatímco jiný selže. Obvyklá mylná představa je, že to ukazuje, že modely neumějí uvažovat nebo jsou prostě neopatrné. Limit je většinou ve vstupním formátu, ne v obecné úvaze. Když je model vyzván, aby slovo vyhláskoval jako první, každé písmeno má tendenci stát se jeho vlastním žetonem a počítání se stává mnohem jednodušším úkolem. Novější modely uvažování často dělají tento pravopisný krok samy o sobě, což je jeden z důvodů, proč tyto otázky dávají častěji správně. Pro vše, kde záleží na přesnosti, je stále nejspolehlivější metodou spuštění krátkého kousku kódu.