WordPiece Tokenization
WordPiece jẹ algorithm tokenization subword ti o ṣe agbara BERT ati ọpọlọpọ awọn awoṣe Google, pipin awọn ọrọ si awọn ajẹkù atunlo ki awoṣe le mu eyikeyi ọrọ mu pẹlu ọrọ ti o wa titi.
Akopọ
O jẹ idi ti awoṣe ti ko rii 'aibanujẹ' tun le loye rẹ nipa kika 'un', '##happy', ati '##ness'.
Jin Dive
WordPiece kọ awọn fokabulari kan ti awọn ẹka-ọrọ subword dipo awọn ọrọ odidi tabi awọn ohun kikọ ẹyọkan. Bibẹrẹ lati awọn ohun kikọ ti ara ẹni, o fi ojukokoro dapọ awọn aami meji ti o pọ julọ ti o ṣeeṣe ti koposi ikẹkọ, tun ṣe titi yoo fi de iwọn ọrọ-afẹde kan (BERT nlo nipa awọn ami-ami 30,000). Ni itọkasi, o ṣe ami ojukokoro si osi-si-ọtun, ni ibamu pẹlu ọrọ-ọrọ ti o gunjulo ninu awọn fokabulari, lẹhinna tẹsiwaju lori iyokù. Itesiwaju awọn ege inu ọrọ kan ni a samisi pẹlu ami-iṣaaju '##', nitorinaa 'ṣiṣẹs' di 'play' + '##ing'. Eyi yanju iṣoro ọrọ-ọrọ ti ita-jade: awọn ọrọ toje tabi awọn ọrọ ti a ko rii nirọrun decompose sinu awọn ajẹkù ti a mọ, si isalẹ awọn kikọ ẹyọkan ti o ba nilo, lakoko ti awọn ọrọ ti o wọpọ duro bi awọn ami ẹyọkan fun ṣiṣe.
Imọ-imọ-ẹrọ
WordPiece yato si Byte-Pair Encoding ni ami-iṣaropọ rẹ. BPE dapọ julọ loorekoore nitosi bata; WordPiece dapọ mọ awọn bata ti o mu ki o ṣeeṣe ikẹkọ-data pọ si, ni aijọju yan bata ti igbohunsafẹfẹ apapọ rẹ ju ọja lọ ti awọn loorekoore awọn ẹya ara rẹ. Aami '##' ṣe iyatọ awọn ege akọkọ-ọrọ lati awọn ilọsiwaju, jẹ ki tokenizer tun ṣe awọn aala ọrọ laiseaniani nigbati o ba n ṣe iyipada pada si ọrọ.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti WordPiece Tokenization
Awọn awoṣe ede ti o tobi tuntun n pọ si ni ojurere si ipele baiti BPE (ẹbi GPT) tabi awọn awoṣe SentencePiece unigram, eyiti o yago fun ilana iṣaaju-ede ati mu eyikeyi titẹ sii Unicode. WordPiece wa ni ipilẹ ni awọn koodu koodu BERT ti o tun wa ni ibigbogbo fun wiwa ati isọdi. Reti lilo ilọsiwaju ninu iṣelọpọ NLP, lẹgbẹẹ iwadii sinu baiti ọfẹ ọfẹ ati awọn awoṣe ihuwasi ti o le dinku igbẹkẹle lori awọn fokabulari ọrọ-ọrọ ti o wa titi lapapọ.
Real-World imuse
BERT ṣe afihan awọn ibeere wiwa ni Google Wawa, fifọ awọn ofin ti ko mọ si awọn ọrọ-kekere ki awoṣe tun le baamu awọn oju-iwe ti o yẹ.
Dimọra Face's BertTokenizer nlo WordPiece lati yi ọrọ aise pada si awọn ID ami ami ti a jẹ si BERT fun itupalẹ itara ati idanimọ-nkankan.
Multilingual BERT nlo awọn ọrọ-ọrọ WordPiece ti o pin kaakiri awọn ede 100+, jẹ ki awọn ajẹku tun lo kọja awọn iwe afọwọkọ ti o jọmọ.
DistilBERT ati awọn iyatọ BERT ti ile-iwosan/iṣe-iṣe biomedical jogun WordPiece, mimu awọn ofin iṣoogun to ṣọwọn bii 'pneumonoconiosis' nipa pipin wọn si awọn ege ti a mọ.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the WordPiece Tokenization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Tokenization Subword
Awọn ibeere ti a beere nigbagbogbo
Kini WordPiece Tokenization?
WordPiece jẹ algorithm tokenization subword ti o ṣe agbara BERT ati ọpọlọpọ awọn awoṣe Google, pipin awọn ọrọ si awọn ajẹkù atunlo ki awoṣe le mu eyikeyi ọrọ mu pẹlu ọrọ ti o wa titi. Nitoribẹẹ, awoṣe ti ko tii ri 'aibanujẹ' le tun loye rẹ nipa kika 'un', '##happy', ati '##ness'.
Kini ami-iṣaaju '##' tọkasi ninu iṣẹjade WordPiece?
WordPiece ṣe samisi awọn ilọsiwaju ọrọ-kekere pẹlu '##', nitorinaa 'ṣiṣẹs' di 'play' + '##ing', jẹ ki olupilẹṣẹ tun ṣe awọn aala ọrọ.
Ni aijọju bawo ni ọrọ ti WordPiece ṣe tobi to nipasẹ BERT atilẹba?
BERT nlo fokabulari WordPiece kan ti aijọju 30,000 awọn ẹya-ọrọ subword, iwọntunwọnsi agbegbe lodi si iwọn tabili ifisinu.
Báwo ni àyẹ̀wò àkópọ̀ WordPiece ṣe yàtọ̀ sí Bíte-Pair Ìṣirò palẹ̀?
BPE ṣopọpọ bata ti o wa nitosi loorekoore julọ, lakoko ti WordPiece ṣopọpọ bata ti o pọ julọ ti o ṣeeṣe koposi, ti o fẹran awọn orisii eyiti igbohunsafẹfẹ apapọ pọ ju ọja ti awọn ẹya wọn lọ.
Bawo ni WordPiece ṣe mu ọrọ kan ti a ko rii lakoko ikẹkọ?
Awọn ọrọ ti a ko rii ni a fọ sinu awọn ọrọ-ọrọ kekere ti a mọ ti o gunjulo julọ, ti o ṣubu pada si awọn ohun kikọ ẹyọkan, eyiti o yanju iṣoro-ọrọ ti ita-fokabulari.
Ni akoko itọkasi, bawo ni WordPiece ṣe yan bi o ṣe le pin ọrọ kan?
WordPiece ṣe ami ojukokoro, ni ibamu pẹlu titẹ sii fokabulari ti o gunjulo ti o bẹrẹ ni ipo lọwọlọwọ, lẹhinna tun ṣe lori iyokù.