Tokenization Subword
Calaamadaynta kelmad-hoosaadku waxay u qaybisaa qoraalka cutubyo ka yar ereyada laakiin ka weyn jilayaasha, sida 'token' iyo 'ization'.
Dulmar
It is the standard way modern language models turn text into the discrete IDs they actually process, balancing vocabulary size against meaning.
quusid qoto dheer
Erayadu aad bay u badan yihiin in la tiriyo (erayadu waxay noqon doonaan kuwo aad u weyn oo seegaya ereyada dhifka ah), halka jilayaasha kali ahi ay wataan macno yar oo ay sameeyaan taxane aad u dheer. Calaamadaynta kelmad-hoosaadku waa isu-tanaasulka: waxay ilaalisaa ereyada soo noqnoqda oo dhan, laakiin waxay u jebisaa kelmadaha dhif iyo naadirka ah qaybo macno leh. 'Farxad-la'aantu' waxay noqon kartaa 'un', 'farxad', 'nacas'. Algorithms-yada waaweyn waxa ka mid ah Codaynta Byte-Pair (oo ay adeegsato GPT), WordPiece (ay adeegsato BERT), iyo Unigram/SentencePiece (oo ay adeegsato T5 iyo noocyo badan oo luuqado badan ku hadla). Habkani waxa uu si xarrago leh u maamulaa kelmadaha aan la arkin, waxa uu qaybsadaa qaybo ereyada la xidhiidha ('ciyaar', 'ciyaar'', 'ciyaaray'), oo waxay taageertaa luqad kasta. Jajab kastaa wuxuu u rogaa aqoonsiga isugeynta, iyo aqoonsigani waa waxa lakabka ku dhejinta moodeelku u beddelo vectors.
Aragtida Farsamada
Algorithms-yada kala duwan ayaa si kala duwan u doorta ereyo-hoosaadyo kala duwan: BPE waxay ku biirtaa lammaane soo noqnoqda xagga hoose, WordPiece waxay soo doorataa isku-darka taas oo kordhisa suurtogalnimada jidhka, iyo Unigram-ku wuxuu ku bilaabmaa eray bixin weyn wuxuuna gooyaa calaamado aan waxyeello u geysan suurtagalnimada. WordPiece waxa ay ku calaamadisaa qaybo kelmad gudaha ah oo leh horgale '##', halka SentencePiece ay meelaha bannaan ula dhaqanto calaamad gaar ah si ay si toos ah ugu shaqeyso qoraalka cayriinka ah iyada oo aan horay loo kala saarin meel cad, oo ku habboon luqadaha aan bannaanayn.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka Tokenization Subword
Calaamadaynta kelmad-hoosaadku way sii ahaan doontaa sababta oo ah waa dhakhso iyo is haysta, laakiin daciifnimadeeda, xisaabta, koodka, iyo qoraallada dhifka ah, oo ay weheliso qiimayaasha aan sinnayn ee luuqadaha, waxay wadaan cilmi-baadhis heer-byte ah iyo moodallo-lacag-la'aan ah. Filo in ka xariifsan, laga yaabo in la barto ama la-qabsiga calaamadeeyayaal iyo cadaalad ku hadasha luqado badan oo ka wanaagsan si qoraalka aan Ingiriisiga ahayn laguma ciqaabin calaamado aad uga badan jumlad kasta.
Dhaqangelinta Adduunka-dhabta ah
BERT waxay isticmaashaa calaamadaynta WordPiece, iyada oo calaamadaysa qaybaha sii wadida sida '##ing' si dib loogu dhiso ereyada asalka ah.
T5 iyo noocyo badan oo luuqado badan ku hadla ayaa isticmaala SentencePiece, kaas oo si toos ah u maamula luqadaha aan meel bannaanayn sida Jabbaan.
Moodooyinka wada sheekaysigu waxay u qaybiyaan erey farsamo oo naadir ah oo u kala qaybiya qaybo la yaqaan halkii ay ku fashilmi lahaayeen kelmad aan la garanayn.
Tokenizer-yadu waxay wadaagaan kelmado-hoosaadyada guud ahaan 'orod', 'orod', iyo 'orodiyaha', taasoo u oggolaanaysa moodalku inuu si hufan u guudeeyo morphology.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Subword Tokenization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
SentencePiece Tokenization
Su'aalaha soo noqnoqda
What is Subword Tokenization?
Calaamadaynta kelmad-hoosaadku waxay u qaybisaa qoraalka cutubyo ka yar ereyada laakiin ka weyn jilayaasha, sida 'token' iyo 'ization'. Waa habka caadiga ah ee moodooyinka casriga ah ee qoraalka u rogaan aqoonsiyada kala duwan ee ay dhab ahaantii farsameeyaan, isku dheelitirka cabbirka erayada macnaha.
Dhibaato noocee ah ayuu xalliyaa calaamadaynta kelmad-hoosaadka marka la barbar dhigo adeegsiga kelmadaha oo dhan?
Erayada ereyga oo dhan aad bay u weyn yihiin oo weli way tabayaan ereyo naadir ah; kelmado-hoosaadyadu waxay ilaaliyaan ereyada la maarayn karo oo si xarrago leh u kala qaybiya kelmado aan la garanayn.
Keebaa ka mid ah kelmad-hoosaadka tokenization algorithm ee ay adeegsato BERT?
BERT waxay isticmaashaa WordPiece, taas oo doorata isku darka kuwaas oo badi kordhiya suurtogalnimada jidhka tababarka.
Sidee buu WordPiece caadi ahaan u calaamadiyaa gabal sii wada ereyga?
WordPiece wuxuu horgaleyaa kelmad-hoosaadyada kelmad-hoosaadka '##', marka 'ciyaartu' waxay noqotaa 'ciyaar' iyo '##ing'.
Maxay SentencePiece ugu habboon tahay luqadaha sida Jabbaan?
SentencePiece waxay ku shaqeysaa qoraal cayriin oo waxay meel bannaan u dejisaa calaamad gaar ah, sidaas darteed waxay u shaqeysaa xitaa iyada oo aan bannaanayn ereyada dhexdooda.
Waa maxay qayb kasta oo ka mid ah kelmad-hoosaadku ugu dambeyntii u khariidado ka hor inta aan la gaarin qaabka?
Eray-hoosaad kasta waxa loo qoondeeyay aqoonsiga isugaynta, kaas oo lakabka wax-ku-xidhashadu isu beddelo vector uu qaabku farsamayn karo.