Baiti-Pair fifi koodu
Iyipada Baiti-Pair (BPE) jẹ algoridimu funmorawon ti o kọ awọn fokabulari kan nipa didapọ leralera awọn aami meji ti o loorekoore.
Akopọ
It is the tokenizer behind GPT models, balancing tiny vocabularies of characters against huge vocabularies of whole words.
Jin Dive
BPE bẹrẹ nipasẹ atọju ọrọ bi ọna ti awọn ohun kikọ kọọkan (tabi awọn baiti aise). Lẹhinna o ṣe iṣiro gbogbo aami aami ti o wa nitosi, ṣopọpọ bata loorekoore julọ sinu ami tuntun kan, ati tun ṣe awọn ẹgbẹẹgbẹrun awọn akoko. Ijọpọ kọọkan jẹ igbasilẹ bi ofin. Awọn itọsẹ lẹta ti o wọpọ bii 'th', 'ing', tabi awọn ọrọ loorekoore odidi di awọn ami ẹyọkan, lakoko ti awọn ọrọ ṣọwọn duro pin si awọn ege kekere. Ni akọkọ ọna funmorawon data lati 1994, o ti ni ibamu si NLP nipasẹ Sennrich et al. ni 2016 fun ẹrọ translation. GPT-2 ati GPT-4 lo BPE ipele baiti, eyiti o nṣiṣẹ lori awọn baiti UTF-8 nitoribẹẹ eyikeyi ohun kikọ, emoji, tabi ede le jẹ koodu nigbagbogbo pẹlu awọn ikuna atako-fokabulari odo.
Imọ-imọ-ẹrọ
Ikẹkọ BPE ṣe agbejade atokọ aṣẹ ti awọn ofin apapọ. Lati ṣe ami ami ọrọ titun, algorithm pin si awọn baiti/awọn ohun kikọ ati lilo awọn ifọkansi ni ojukokoro ni ilana pataki kanna titi ko si ofin ti o baamu. BPE ipele baiti ṣe iṣeduro ipadasẹhin: paapaa aami ti a ko rii decomposes sinu awọn baiti ti o wa ninu rẹ, nitorinaa awọn fokabulari ti awọn baiti 256 pẹlu awọn akojọpọ ikẹkọ bo ohun gbogbo laisi ami UNK kan.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Ifaminsi Baiti-Pair
BPE maa wa tokenizer workhorse, ṣugbọn titẹ n dagba si ọna baiti- tabi awọn awoṣe ipele-iwa ti o foju isọdi-ọrọ ti o han gbangba, yago fun awọn quirks bii awọn iyapa ti o buruju ni koodu, iṣiro, tabi awọn iwe afọwọkọ Gẹẹsi ti kii ṣe Gẹẹsi. Iwadi sinu awọn faaji ti ko ni ami ami ati awọn olutọpa ti o kọ ẹkọ ni ero lati ṣatunṣe awọn aiṣedeede BPE. Sibẹsibẹ, iyara rẹ ati ṣiṣe funmorawon tumọ si awọn fokabulari ara-BPE yoo ṣe agbara awọn LLM iṣelọpọ pupọ julọ fun ọjọ iwaju to sunmọ.
Real-World imuse
GPT-2 ati GPT-4 lo BPE ipele baiti nitoribẹẹ eyikeyi ohun kikọ Unicode tabi emoji le ṣe koodu laisi awọn aṣiṣe.
Awọn ọna ṣiṣe itumọ ẹrọ lo BPE lati pin awọn ọrọ to ṣọwọn tabi awọn ọrọ idapọ si awọn ege-ọrọ abẹlẹ atunlo ti o pin kaakiri awọn ede.
Famọra Face's tokenizers ikawe ṣe ikẹkọ awọn fokabulari BPE fun awọn ibugbe aṣa bi biomedical tabi ọrọ ofin.
Awọn awoṣe koodu tokenize awọn idamọ ati awọn koko-ọrọ pẹlu BPE, dapọ awọn ilana loorekoore bii 'defi' tabi '==' sinu awọn ami ẹyọkan.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Byte-Pair Encoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Tokenization ati Baiti Pair fifi koodu
Awọn ibeere ti a beere nigbagbogbo
What is Byte-Pair Encoding?
Iyipada Baiti-Pair (BPE) jẹ algoridimu funmorawon ti o kọ awọn fokabulari kan nipa didapọ leralera awọn aami meji ti o loorekoore. O jẹ aami tokini lẹhin awọn awoṣe GPT, iwọntunwọnsi awọn fokabulari kekere ti awọn ohun kikọ si awọn fokabulari nla ti awọn ọrọ gbogbo.
Kini iṣẹ mojuto BPE tun ṣe lati kọ awọn fokabulari rẹ?
BPE ka awọn orisii aami ti o wa nitosi ati dapọ ọkan loorekoore julọ sinu ami tuntun kan, tun ṣe awọn ẹgbẹẹgbẹrun awọn akoko.
Kini BPE ṣe itọju ọrọ bi nigbati o bẹrẹ ikẹkọ?
BPE bẹrẹ lati awọn ẹya ti o kere julọ (awọn ohun kikọ tabi awọn baiti aise) ati dagba awọn ami-ami ti o tobi julọ nipasẹ awọn akojọpọ.
Kini idi ti ipele baiti BPE yago fun awọn aṣiṣe-jade-ti-fokabulari (UNK)?
Nitori ipilẹ fokabulari pẹlu gbogbo 256 awọn baiti, ani airi aami ti kuna pada si wọn baiti asoju.
Nibo ni algorithm BPE ti wa ni akọkọ ṣaaju ki NLP gba?
BPE ni a ṣe afihan bi ilana funmorawon data ni 1994 ati nigbamii ti a ṣe deede fun isọdi ọrọ-ọrọ ni ọdun 2016.
Nigbati o ba n ṣe afihan ọrọ tuntun, bawo ni BPE ṣe lo awọn ofin ikẹkọ rẹ?
Awọn ofin apapọ ti wa ni paṣẹ, ati tokenization kan wọn greedily nipa ayo titi ko si siwaju sii ofin ibaamu.