LegközelebbKövetkező útmutató
Byte-Pair kódolás
Nyelvi AI
Műszaki ÚTMUTATÓ
A tokenizálás a szöveget a nyelvi modell által ténylegesen olvasott kis egységekre bontja, és a bájtpáros kódolás (BPE) a népszerű módszer e szókincs felépítésére.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It balances having a manageable vocabulary against handling any word the model might encounter.
A nyelvi modellek nem látnak nyers karaktereket vagy egész szavakat – tokeneket, szövegrészekre leképezett egész számokat látnak. Ezeknek a daraboknak a kiválasztása kompromisszum: a szószintű szókincsek hatalmasak, és megfulladnak a nem látott vagy hibásan írt szavaktól, míg a karakterszintűek nagyon meghosszabbítják a sorozatokat. A bájtpáros kódolás középutat talál. Az 1990-es évek adattömörítő algoritmusából kölcsönzött BPE egyedi karakterekből (vagy nyers bájtokból) indul ki, és ismételten egyesíti a leggyakoribb szomszédos párokat egy új tokenbe, így a szókincs a közös alszavak felé nő. A gyakori szavak egyetlen jelzővé válnak, míg a ritka szavak újrafelhasználható töredékekre válnak szét. A GPT-modellek által használt bájtszintű BPE nyers bájtokon működik, így bármilyen Unicode-szöveget – beleértve az emojikat és bármilyen nyelvet – képes megjeleníteni a szókincsen kívüli hibák nélkül.
A GPT és Llama modellek BPE-stílusú tokenizátorokat használnak, hogy a promptokat a hálózati folyamatok tokenazonosítóivá alakítsák.
Az API-árazás és a kontextusablak korlátait tokenben mérik, így a tokenizálás közvetlenül befolyásolja a költségeket és a szöveg elférését.
Az emojik, kódok és ritka szavak kecses kezelése újrafelhasználható részszavakra vagy bájttöredékekre bontva.
Több nyelv támogatása egy modellben nyelvenként külön szótár nélkül, bájt szintű kódolással.
A tokenizálás aktív újragondolás alatt áll. A bájt- és karakterszintű modellek, mint például a ByT5, és a feltörekvő token-mentes vagy „byte-latens” architektúrák célja a rögzített szókészletek teljes elhagyása, így a modellek minden bevitelt és nyelvet egységesen kezelnek. A kutatók a tokenizáció méltányosságának kérdésével is foglalkoznak – sok nem angol és kevés erőforrást igénylő nyelv jelenleg sokkal több tokenbe kerül mondatonként, ami növeli az árat és szűkíti a hatékony kontextust. A kódra, a matematikára és a többnyelvű egyensúlyra hangolt tokenizátorokra számíthat, valamint a folyamatos kísérletekre, amelyek visszaszorítják a határt a nyers bájtok felé.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A tokenizálás a szöveget a nyelvi modell által ténylegesen olvasott kis egységekre bontja, és a bájtpáros kódolás (BPE) a népszerű módszer e szókincs felépítésére. Kiegyensúlyozza a kezelhető szókincs és a modell által esetlegesen előforduló szavak kezelését.
A modellek tokenekkel – karaktereket, részszavakat vagy szavakat jelölő egész számokkal – nem nyers szöveges karakterláncokkal működnek.
A BPE karakterekből vagy bájtokból indul ki, és mohón egyesíti a leggyakrabban előforduló szomszédos párokat, fokozatosan közös alszó tokeneket alkotva.
A szószintű szókincsek kudarcot vallanak a nem látott szavakon; Az alszavak tokenizálása a ritka szavakat ismert darabokra bontja, elkerülve a szókincsből származó problémákat, miközben kezelhető marad a szókincs.
A nyers bájtokon való működés azt jelenti, hogy minden lehetséges bemenet kódolható, így nyelvtől vagy szimbólumtól függetlenül nincsenek igazán ismeretlen karakterek.
Az alszavak tokenizálása egyetlen szót több töredékre bonthat, és érzékeny a szóközökre és a kis- és nagybetűkre, így a tokenek száma ritkán egyenlő a szószámmal.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Byte-Pair kódolás
Nyelvi AI