LegközelebbKövetkező útmutató
ChatGPT és LLM-ek
Nyelvi AI
Alapok ÚTMUTATÓ
A nagy nyelvi modellek nehezen számolják meg a betűket, mert nem olvasnak szöveget egyenként.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Tokeneket olvasnak, amelyek karakterdarabokból állnak, így a szóban lévő egyes betűk gyakran soha nem láthatók közvetlenül a modell számára. Ez az egyetlen tény megmagyarázza a helyesírási, számlálási, visszafordítási és rímírási hibák egész családját, és megmondja, hogyan lehet ezeket megkerülni.
Mielőtt egy nyelvi modell bármilyen szöveget látna, egy tokenizátor tokenekre osztja fel. A legtöbb modern tokenizátor olyan módszert használ, mint például a bájtpáros kódolás, amely nagy mennyiségű szövegből tanulja meg a közös karaktersorozatokat. A gyakori szavak gyakran egyetlen jelzővé válnak, a ritkább szavak pedig néhány darabra osztódnak. A modell ezután minden tokent számként kap, és vektorrá alakítja. Soha nem kapja meg a tokenben lévő betűket külön bemenetként. Tehát amikor azt kérdezi, hogy hány r van az „eperben”, a modell nem olvas tíz karaktert. Talán két vagy három darabot lát, és az edzés során tanult mintákból fel kell idéznie, hogy ezek a darabok mely betűket tartalmazzák. Ez a tudás létezik, de közvetett és homályos, mintha megkérdeznék tőle, hányszor fordul elő az e betű egy olyan szóban, amelyet eddig csak képként láttál. Az eperkérdés 2024-ben azért vált széles körben megosztott példává, mert a válasz nyilvánvaló az emberek számára, és meglepően nehéz a chatbotok számára. Ugyanez az ok okozza a kapcsolódó hibákat is: elgépelés, amikor hangosan írják ki, a szavakat hibásan fordítják vissza, a betűalapú megszorítások, például akrosztikák vagy lipogramok, és a karakterek hibás számlálása a hosszkorlátokhoz. A pontos felosztások különböznek a tokenizátorok között, ezért előfordulhat, hogy az egyik modell helyesen kap egy adott szót, míg a másik meghibásodik. Általános tévhit az, hogy ez azt mutatja, hogy a modellek nem tudnak gondolkodni, vagy egyszerűen hanyagok. A határ leginkább a beviteli formátumban van, nem az általános érvelésben. Amikor egy modellt arra kérnek, hogy először írja ki a szót, minden betű saját jelévé válik, és a számolás sokkal könnyebbé válik. Az újabb érvelési modellek gyakran maguktól hajtják végre ezt a helyesírási lépést, ami az egyik oka annak, hogy gyakrabban találják meg ezeket a kérdéseket. Bármire, ahol a pontosság számít, még mindig egy rövid kódrészlet futtatása a legmegbízhatóbb módszer.
Arra a kérdésre, hogy az r betű hányszor fordul elő az „eperben”, egy chatbot három helyett kettőt válaszol, mivel a szó néhány többbetűs darabként éri el a modellt, nem pedig tíz különálló betűként.
Egy tanár megkér egy modellt, hogy írjon egy olyan mondatot, amelyben minden szó s betűvel kezdődik, és olyan szavakba csúszik, amelyek nem, mivel minden szó első betűjére kell következtetnie, ahelyett, hogy látná.
A fejlesztő visszafelé kéri az „enciklopédia” szót, és megkapja a felcserélt vagy hiányzó betűket tartalmazó változatot; megkérve a modellt, hogy először sorolja fel a betűket soronként, majd fordítsa meg a listát, javítja.
Egy kirakós alkalmazásnak pontos betűszámra van szüksége egy szójátékhoz, ezért egyetlen sornyi közönséges kóddal számítja ki őket, és a modellt csak a tippek írásához használja.
A kutatók olyan modelleket kutatnak, amelyek közvetlenül bájtokon vagy karaktereken dolgoznak, és hibrid terveket, amelyek dinamikusan csoportosítják a bájtokat, amelyek természetesebbé tehetik a karakterszintű feladatokat. Ezeknek a megközelítéseknek megvannak a kompromisszumai, mivel a hosszabb bemeneti szekvenciák többe kerülnek a számításba. Mindeközben a szavakat lépésről lépésre kiejtő érvelési modellek és a kódeszközöket hívó modellek már a gyakorlatban is csökkentik ezen hibák nagy részét. Ésszerű, hogy idővel kevesebb kínos betűszámlálási kudarc várható, de a pontos karakterszámlálást igénylő feladatoknál valószínűleg jó gyakorlat marad a kód használata a modell visszahívásában való megbízás helyett.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A nagy nyelvi modellek nehezen számolják meg a betűket, mert nem olvasnak szöveget egyenként. Tokeneket olvasnak, amelyek karakterdarabokból állnak, így a szóban lévő egyes betűk gyakran soha nem láthatók közvetlenül a modell számára. Ez az egyetlen tény megmagyarázza a helyesírási, számlálási, visszafordítási és rímírási hibák egész családját, és megmondja, hogyan lehet ezeket megkerülni.
A modellek tokeneket kapnak, amelyek gyakran több karaktert is tartalmaznak. A tokenben lévő betűk nem külön bemenetek, ezért a modellnek közvetetten kell visszahívnia őket.
A tokenizátor a szöveget darabokra bontja egy rögzített szókincsből, és mindegyiket leképezi egy egész számra, amelyet aztán vektorokká alakít.
A szó elválasztókkal, például s-t-r-a-w írása általában minden betűt saját jelzőbe helyez, ami sokkal könnyebbé teszi a számolást.
A BPE bájtokból vagy karakterekből indul ki, és folyamatosan egyesíti a leggyakoribb szomszédos párokat, így a közös karakterláncok egyetlen tokenekké válnak.
A tokenizátorok gyakran tartalmaznak vezető szóközöket és kis- és nagybetűket a tokenekben, így a kis felületi változtatások különböző tokenfelosztásokat eredményezhetnek.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
ChatGPT és LLM-ek
Nyelvi AI