Èdè AI Itọsọna
Tokenization Subword
Isọdi ọrọ-ọrọ jẹ aṣoju ọrọ pẹlu awọn ege fokabulari atunlo ti o le pẹlu awọn ọrọ odidi, awọn ajẹkù kekere, tabi awọn kikọ.
Gbọ si itọsọna yiiAI-ṣe afihan · ~3 min
Lori iwe yi3 min ka
Akopọ
O funni ni awọn omiiran si awọn ọrọ titẹ sii-ọkan-fun-ọrọ, lakoko ti agbegbe ati ipin da lori ọna ti o yan ati iṣeto.
Jin Dive
Ọrọ-ọrọ-nikan fokabulari pin titẹsi lọtọ si fọọmu ọrọ kọọkan ti a mọ ati pe o le nilo itọju ọrọ aimọ fun awọn fọọmu ti a ko rii. Awọn ọna abẹ-ọrọ dipo ṣajọ ọrọ lati awọn ege atunlo. Eyi le jẹ ki awọn fokabulari ti o lopin wulo fun ọpọlọpọ awọn akojọpọ ti o ṣọwọn tabi aramada, ṣugbọn agbegbe tun da lori alfabeti, isọdi deede, ati atunto eyikeyi isọdọtun. Ẹyọ kan le jẹ ọrọ pipe tabi ohun kikọ kan; o nilo ko nigbagbogbo dubulẹ muna laarin awon titobi. BPE, WordPiece, ati Unigram ni ikẹkọ oriṣiriṣi ati awọn ọna ṣiṣe ipin. BPE dagba awọn aami ti o tobi julọ nipasẹ awọn akojọpọ bata. BERT atilẹba naa nlo WordPiece, pẹlu ami iyasọtọ ti a tẹjade ti o samisi ọrọ-awọn ege itesiwaju ti inu ni lilo ìpele ##. Ti o Adehun apejuwe awọn nkan fokabulari; o ko tumo si gbogbo han suffix gbọdọ di a lọtọ àmi. Ti awọn fọọmu ọrọ ti o jọmọ pin nkan ti o wa, awoṣe le tun lo aṣoju rẹ, ṣugbọn ami-ami ko nilo lati ṣawari awọn eso tabi awọn morphemes pipe ni ede. Ikẹkọ fokabulari Unigram gba ọna miiran, bẹrẹ pẹlu ọpọlọpọ awọn ege oludije ati gige wọn ni ibamu si ipa wọn lori ibi-afẹde ti o ṣeeṣe. SentencePiece yẹ ki o loye lọtọ lati algoridimu ẹyọkan: o jẹ tokenizer ati ile ikawe detokenizer ti n ṣe atilẹyin BPE ati Unigram. O le ṣe ikẹkọ taara lati awọn gbolohun ọrọ aise laisi nilo isọdi-ọrọ-ọrọ pato-ede. Whitespace jẹ aṣoju nipasẹ aami-meta-aami ti o han ni awọn ege rẹ, ṣe iranlọwọ lati ṣe atunṣe ọrọ deede. Gẹgẹbi awọn ami ami-ami miiran, awọn ege fokabulari maapu si awọn ID odidi ṣaaju ṣiṣe awoṣe. Pipin apẹẹrẹ jẹ apejuwe ayafi ti faili awoṣe kan pato ati iṣeto fifi koodu jẹ idanimọ.
Real-World imuse
Ṣiṣayẹwo BERT's WordPiece fokabulari ati apejọ-nkan lilọsiwaju rẹ.
Ifiwera BPE ati Unigram ipin labẹ oriṣiriṣi awọn ọrọ ikẹkọ ikẹkọ.
Lilo SentencePiece lori ọrọ aise laisi nilo pipin ọrọ aaye funfun-ede kan pato.
Ṣiṣayẹwo nigbati awọn fọọmu ọrọ ti o jọmọ pin awọn ege dipo ki o ro pe gbogbo pipin jẹ morpheme kan.
Ojo iwaju ti Tokenization Subword
Awọn afiwe ti awọn ọna abẹ-ọrọ le ṣe ayẹwo agbegbe, gigun lẹsẹsẹ, ati iṣẹ ṣiṣe lori awọn iṣẹ ṣiṣe tabi awọn ede. Faili awoṣe, awọn eto isọdi deede, alfabeti, ati ihuwasi ifẹhinti yẹ ki o jẹ idanimọ lati jẹ ki awọn abajade tun ṣe. Awọn fokabulari ti o ṣe agbejade awọn ilana kukuru le yi awọn ibeere iṣiro pada, lakoko ti ibamu pẹlu awoṣe oṣiṣẹ jẹ pataki. Ayewo ede le ṣafihan awọn ege pinpin iwulo tabi awọn aala ti o buruju, ṣugbọn irisi nikan ko fi idi didara awoṣe mulẹ. Baiti-tabi awọn omiiran ti o da lori iwa tun le ṣe ayẹwo labẹ awọn ipo iṣẹ-ṣiṣe kanna dipo ti a ro pe idile ipin kan gbọdọ wa ni agbara agbaye.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iyara ati iwọn. Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
- Wiwọle ati arọwọto. O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
- Awọn ipinnu diẹ sii. Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ṣọra fun
- Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
- Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
- Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Next awọn igbesẹ
- Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
- Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
- Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
- Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Subword Tokenization quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Subword Tokenization?
Isọdi ọrọ-ọrọ jẹ aṣoju ọrọ pẹlu awọn ege fokabulari atunlo ti o le pẹlu awọn ọrọ odidi, awọn ajẹkù kekere, tabi awọn kikọ. O funni ni awọn omiiran si awọn ọrọ titẹ sii-ọkan-fun-ọrọ, lakoko ti agbegbe ati ipin da lori ọna ti o yan ati iṣeto.
Awọn aropin fokabulari wo ni o ṣeduro aṣoju awọn fọọmu ọrọ toje nipasẹ awọn ege atunlo kekere?
Kikojọpọ awọn ege pese ilana oniduro miiran, lakoko ti agbegbe ihuwasi ati awọn eto ifẹhinti tun ṣe pataki.
Eyi ti subword tokenizer wo ni atilẹba BERT lilo?
Iwe atilẹba BERT ati tokenizer ti a tẹjade ṣe idanimọ WordPiece.
Iru ìpele wo ni o ṣe samisi awọn ege itesiwaju ti inu ni apejọ WordPiece ti a tẹjade BERT?
Tokenizer ti a tẹjade ṣe afikun ## si awọn oludije lilọsiwaju; ọrọ kan pato ko nilo lati pin si ami suffix.
Ohun-ini mimu-imudaniloju SentencePiece wo ni o ṣe atilẹyin ọrọ laisi awọn aala ọrọ alafo funfun?
Iwe SentencePiece ṣe apejuwe ikẹkọ ati ipin taara lati ọrọ aise.
Kini ajeku ọrọ-ọrọ kọọkan ni ipari ṣe maapu si ṣaaju ki o to de awoṣe naa?
Ọrọ-ipin kọọkan jẹ ID odidi ID kan, eyiti Layer ifisinu yipada si fekito ti awoṣe le ṣe ilana.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii