Àmi
Tokenization jẹ igbesẹ ti o ge ọrọ sinu awọn ege kekere ti a npe ni awọn ami, awọn ẹya awoṣe ede kan n ka ati asọtẹlẹ.
Akopọ
O ni idakẹjẹ ṣe apẹrẹ idiyele, awọn opin agbegbe, ati paapaa bawo ni awoṣe ṣe n kapa akọtọ ati awọn ọrọ toje.
Jin Dive
Ṣaaju ki awoṣe kan to rii ọrọ rẹ, tokenizer kan pin si awọn ami-ami, eyiti o jẹ igbagbogbo awọn ṣoki ọrọ-ọrọ dipo awọn ọrọ odidi tabi awọn lẹta ẹyọkan. Ọrọ naa 'aibanujẹ' le di 'un', 'ayọ', tabi 'tokenization' le pin si 'àmi' ati 'isọdọkan'. Awọn ọrọ ti o wọpọ nigbagbogbo ṣe maapu si ami-ami kan, lakoko ti awọn ọrọ toje, awọn orukọ, tabi koodu pin si ọpọlọpọ. Aami kọọkan ti wa ni ya aworan si nọmba ID ti awoṣe yi pada si fekito kan. Eyi ṣe pataki ni adaṣe nitori awọn awoṣe ni awọn window ti o wa titi ti o wa titi ti a ṣewọn ni awọn ami ami, ati iwe-owo API fun ami-ami, nitorinaa ofin Gẹẹsi ti o ni inira ti atanpako jẹ awọn ohun kikọ 4 tabi awọn ọrọ 0.75 fun ami kan. Tokenization tun ṣe alaye awọn quirks awoṣe Ayebaye: kika awọn lẹta tabi ṣiṣe akọtọ gangan jẹ lile nitori awoṣe naa rii awọn chunks, kii ṣe awọn ohun kikọ kọọkan.
Imọ-imọ-ẹrọ
Pupọ LLMs ode oni lo isọdi-ọrọ-ọrọ bii Baiti Pair Encoding (BPE) tabi awọn iyatọ ipele baiti rẹ. BPE bẹrẹ lati awọn ohun kikọ ati leralera dapọ awọn orisii isunmọ loorekoore julọ lati kọ awọn fokabulari ti o wa titi (nigbagbogbo 30,000 si awọn ami ami 100,000+). Eyi ṣe iwọntunwọnsi awọn iwọn meji: ami ipele-ọrọ ko le mu awọn ọrọ ti a ko rii, lakoko ti ipele kikọ jẹ ki awọn ọna ṣiṣe gun pupọ. Awọn ọrọ-ọrọ jẹ ki awoṣe ṣe aṣoju eyikeyi okun, pẹlu awọn typos ati awọn ọrọ titun, nipa kikọ awọn ege ti a mọ, lakoko titọju awọn ilana ni kukuru.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Tokenization
Tokenization jẹ agbegbe iwadii ti nṣiṣe lọwọ ni pipe nitori pe o fi opin si ṣiṣe ati ododo. Awọn ede ti o ṣe ami si awọn ege diẹ sii ni iye owo diẹ sii ti o si lo ọrọ-ọrọ ni iyara, nitorinaa ododo ni ede pupọ jẹ ibakcdun gidi kan ni idojukọ pẹlu awọn ọrọ ti o dara julọ, iwọntunwọnsi diẹ sii. Awọn oniwadi tun n ṣawari awọn awoṣe ti ko ni ami-ami tabi awọn awoṣe ipele baiti (bii ByT5) ati kọ ẹkọ ti o le mu igbesẹ aifwy ọwọ brittle kuro patapata. Ni bayi, nireti awọn fokabulari ti o tobi, awọn ami isamisi multilingual ijafafa, ati imọ olumulo ti ndagba ti idiyele ti o da lori ami-ami ati eto isuna agbegbe.
Real-World imuse
Idiyele API fun awọn awoṣe bii GPT ati Claude jẹ sisan fun titẹ sii ati ami atẹjade, nitorinaa awọn iṣiro ami kan taara iye owo.
Awọn ifilelẹ ọrọ-fẹẹnusọ (fun apẹẹrẹ, 128K tabi awọn ami ami 200K) jẹ iwọn ni awọn ami-ami, ti o ni iye ọrọ tabi koodu ti o le pẹlu.
Awọn olupilẹṣẹ lo awọn tokenizers (bii tiktoken) lati ṣe iṣiro iwọn kiakia ati gige akoonu ṣaaju fifiranṣẹ awọn ibeere.
Tokenization ṣe alaye idi ti awọn awoṣe ṣe ngbiyanju lati ka awọn lẹta ni ọrọ kan tabi yiyipada okun kan, nitori wọn rii awọn ṣoki ọrọ-ọrọ, kii ṣe awọn kikọ.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Tokenization ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tokenization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
SentencePiece Tokenization
Awọn ibeere ti a beere nigbagbogbo
Kini Tokenization?
Tokenization jẹ igbesẹ ti o ge ọrọ sinu awọn ege kekere ti a npe ni awọn ami, awọn ẹya awoṣe ede kan n ka ati asọtẹlẹ. O ni idakẹjẹ ṣe apẹrẹ idiyele, awọn opin agbegbe, ati paapaa bawo ni awoṣe ṣe n kapa akọtọ ati awọn ọrọ toje.
Kini 'àmi' kan ni aaye ti awoṣe ede kan?
Àmi ni o wa awọn sipo a awoṣe lakọkọ, maa subword chunks, ma gbogbo ọrọ tabi nikan ohun kikọ.
Ọna isamisi wo ni ọpọlọpọ LLMs ode oni lo?
Awọn ọna ọrọ-ọrọ bii BPE dapọ awọn orisii ihuwasi loorekoore, iwọntunwọnsi awọn ailagbara ti ipele-ọrọ mimọ ati awọn isunmọ-ipele ihuwasi.
Kini idi ti isamisi ṣe awọn iṣẹ ṣiṣe bii kika awọn lẹta ninu ọrọ lile fun awọn LLM?
Nitoripe a ṣe akojọpọ ọrọ si awọn ami-ọrọ-ọrọ, awoṣe ko ni akiyesi ohun kikọ kọọkan taara, ti o jẹ ki awọn iṣẹ-ṣiṣe ipele-lẹta jẹ aṣiṣe.
Kini idi ti isamisi ṣe pataki fun idiyele API ati awọn opin ọrọ-ọrọ?
Owo awọn olupese fun ami ami kan ati awọn ferese agbegbe jẹ iwọn ni awọn ami-ami, nitorinaa awọn iṣiro ami n ṣakoso idiyele mejeeji ati iye melo ti o le pẹlu.
Kini idi ti gbolohun kanna le jẹ iye awọn ami-ami diẹ sii ni diẹ ninu awọn ede ju ni Gẹẹsi lọ?
Awọn fokabulari ti a ṣe ikẹkọ pupọ julọ lori Gẹẹsi pin awọn ede miiran si awọn ami-ami diẹ sii, igbega idiyele ati jijo ọrọ ni iyara.