Usimbaji wa Byte-Jozi
Usimbaji wa Byte-Jozi (BPE) ni algoriti inayoongozwa na mgandamizo ambayo huunda msamiati kwa kuunganisha mara kwa mara jozi za mara kwa mara za alama.
Muhtasari
It is the tokenizer behind GPT models, balancing tiny vocabularies of characters against huge vocabularies of whole words.
Dive ya kina
BPE huanza kwa kuchukulia maandishi kama mfuatano wa herufi binafsi (au baiti ghafi). Kisha huhesabu kila jozi ya alama zinazokaribiana, huunganisha jozi ya mara kwa mara kwenye ishara mpya, na kurudia hili mara maelfu. Kila unganisho hurekodiwa kama sheria. Mfuatano wa herufi za kawaida kama vile 'th', 'ing', au maneno yote ya mara kwa mara polepole huwa ishara moja, huku maneno adimu yakisalia kugawanywa katika vipande vidogo. Hapo awali ilikuwa njia ya kubana data kutoka 1994, ilichukuliwa kuwa NLP na Sennrich et al. katika 2016 kwa tafsiri ya mashine. GPT-2 na GPT-4 hutumia BPE ya kiwango kidogo, ambayo hufanya kazi kwa baiti za UTF-8 ili herufi, emoji au lugha yoyote iweze kusimba bila kutofaulu kwa msamiati.
Ufahamu wa Kiufundi
Mafunzo ya BPE hutoa orodha iliyoagizwa ya sheria za kuunganisha. Ili kuweka toni maandishi mapya, algoriti huigawanya katika baiti/vibambo na kutumia miunganisho kwa pupa katika mpangilio sawa wa kipaumbele hadi hakuna sheria inayolingana. BPE ya kiwango cha Byte huhakikisha urejesho: hata ishara isiyoonekana hutengana na kuwa baiti za msingi, kwa hivyo msamiati wa baiti 256 pamoja na miunganisho iliyojifunza hufunika kila kitu bila tokeni ya UNK.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Usimbaji wa Byte-Jozi
BPE inasalia kuwa alama ya nguvu kazi, lakini shinikizo linaongezeka kuelekea miundo ya kiwango kidogo au ya mhusika ambayo inaruka tokeni kwa uwazi, ikiepuka mambo ya ajabu kama vile mgawanyiko usio wa kawaida katika hati za msimbo, hesabu au zisizo za Kiingereza. Utafiti kuhusu usanifu usio na ishara na viashiria vilivyojifunza unalenga kurekebisha upendeleo wa BPE. Bado, kasi yake na ufanisi wa mgandamizo humaanisha kwamba msamiati wa mtindo wa BPE utawezesha LLM nyingi za uzalishaji kwa siku za usoni.
Utekelezaji wa Ulimwengu Halisi
GPT-2 na GPT-4 hutumia BPE ya kiwango kidogo ili herufi au emoji yoyote ya Unicode iweze kusimba bila hitilafu.
Mifumo ya tafsiri ya mashine hutumia BPE kugawanya maneno adimu au kuunganisha katika vipande vidogo vinavyoweza kutumika tena vinavyoshirikiwa katika lugha zote.
Maktaba ya viashiria vya Hugging Face hufunza misamiati ya BPE kwa vikoa maalum kama vile maandishi ya matibabu au ya kisheria.
Miundo ya msimbo huweka alama za vitambulishi na manenomsingi na BPE, ikiunganisha ruwaza za mara kwa mara kama vile 'def' au '==' kuwa tokeni moja.
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Byte-Pair Encoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Uwekaji Tokeni na Usimbaji Jozi wa Byte
Maswali yanayoulizwa mara kwa mara
What is Byte-Pair Encoding?
Usimbaji wa Byte-Jozi (BPE) ni algoriti inayoongozwa na mgandamizo ambayo huunda msamiati kwa kuunganisha mara kwa mara jozi za mara kwa mara za alama. Ni kiashiria nyuma ya miundo ya GPT, kusawazisha misamiati midogo ya wahusika dhidi ya msamiati mkubwa wa maneno mazima.
Je, ni operesheni gani ya msingi inayorudiwa na BPE ili kujenga msamiati wake?
BPE huhesabu jozi za alama zinazokaribiana na kuunganisha ile inayopatikana mara nyingi zaidi kwenye tokeni mpya, ikirudia maelfu ya mara.
Je, BPE inachukulia nini maandishi kama inapoanza mafunzo?
BPE huanza kutoka kwa vitengo vidogo zaidi (herufi au baiti mbichi) na hukuza tokeni kubwa kupitia miunganisho.
Kwa nini BPE ya kiwango kidogo huepuka makosa ya nje ya msamiati (UNK)?
Kwa sababu msamiati msingi unajumuisha baiti zote 256, hata alama zisizoonekana hurudi kwenye uwakilishi wao wa kawaida.
Algorithm ya BPE ilitoka wapi kabla ya NLP kuipitisha?
BPE ilianzishwa kama mbinu ya kubana data mnamo 1994 na baadaye ikabadilishwa kwa uwekaji alama wa neno ndogo mnamo 2016.
Wakati wa kuweka alama kwa maandishi mapya, BPE hutumiaje sheria zake zilizojifunza?
Sheria za kuunganisha zimeagizwa, na uwekaji tokeni huzitumia kwa uchoyo kwa kipaumbele hadi hakuna sheria nyingine inayolingana.