InayofuataMwongozo unaofuata
Usimbaji wa Byte-Jozi
Lugha AI
MWONGOZO wa Kiufundi
Uwekaji Tokeni na Usimbaji Jozi wa Byte
Uwekaji tokeni hugawanya maandishi katika vitengo vidogo ambavyo modeli ya lugha husoma haswa, na Usimbaji wa Byte Pair (BPE) ndiyo njia maarufu ya kuunda msamiati huo.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
It balances having a manageable vocabulary against handling any word the model might encounter.
Dive ya kina
Miundo ya lugha haioni herufi ghafi au maneno mazima - huona tokeni, vitambulisho kamili vilivyopangwa kwa vipande vya maandishi. Kuchagua vipande hivyo ni tofauti: msamiati wa kiwango cha maneno ni mkubwa na husongwa na maneno yasiyoonekana au yaliyoandikwa vibaya, huku yale ya kiwango cha wahusika hufanya mfuatano mrefu sana. Usimbaji Jozi wa Byte hugonga msingi wa kati. Iliyokopwa kutoka kwa algoriti ya ufinyazo wa data ya miaka ya 1990, BPE huanza kutoka kwa herufi mahususi (au baiti mbichi) na kuunganisha mara kwa mara jozi zilizo karibu zaidi kuwa tokeni mpya, na kukuza msamiati kuelekea maneno madogo ya kawaida. Maneno ya mara kwa mara huwa ishara moja, wakati maneno adimu yamegawanywa katika vipande vinavyoweza kutumika tena. BPE ya kiwango cha Byte, inayotumiwa na miundo ya GPT, hufanya kazi kwa kutumia baiti mbichi kwa hivyo inaweza kuwakilisha maandishi yoyote ya Unicode - ikiwa ni pamoja na emoji na lugha yoyote - bila hitilafu nyingi za msamiati.
Utekelezaji wa Ulimwengu Halisi
Miundo ya GPT na Llama hutumia viambatanisho vya mtindo wa BPE kugeuza vidokezo kuwa vitambulisho vya tokeni michakato ya mtandao.
Bei za API na vikomo vya dirisha la muktadha hupimwa kwa tokeni, kwa hivyo uwekaji tokeni huathiri moja kwa moja gharama na ni kiasi gani cha maandishi kinafaa.
Kushughulikia emoji, msimbo na maneno adimu kwa uzuri kwa kuyagawanya katika neno ndogo linaloweza kutumika tena au vipande vya baiti.
Inaauni lugha nyingi katika muundo mmoja bila kamusi tofauti kwa kila lugha, kupitia usimbaji wa kiwango kidogo.
Mustakabali wa Uwekaji Tokeni na Usimbaji Jozi wa Byte
Uwekaji tokeni uko chini ya kufikiria upya amilifu. Miundo ya kiwango cha Byte na herufi kama vile ByT5, na usanifu unaoibukia usio na tokeni au 'byte-latent', unalenga kuondoa msamiati uliowekwa ili miundo ishughulikie ingizo lolote na lugha yoyote kwa usawa. Watafiti pia wanashughulikia haki ya uwekaji alama - lugha nyingi zisizo za Kiingereza na zenye rasilimali kidogo kwa sasa zinagharimu tokeni nyingi zaidi kwa kila sentensi, kuongeza bei na kushuka kwa muktadha mzuri. Tarajia viashiria vilivyowekwa kwa ajili ya msimbo, hesabu, na usawa wa lugha nyingi, pamoja na majaribio yanayoendelea ili kurudisha mpaka nyuma kuelekea baiti ghafi.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Tokenization and Byte Pair Encoding quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Tokenization and Byte Pair Encoding?
Uwekaji tokeni hugawanya maandishi katika vitengo vidogo ambavyo modeli ya lugha husoma haswa, na Usimbaji wa Byte Pair (BPE) ndiyo njia maarufu ya kuunda msamiati huo. Inasawazisha kuwa na msamiati unaoweza kudhibitiwa dhidi ya kushughulikia neno lolote ambalo kielelezo kinaweza kukutana nacho.
Uwekaji ishara hutoa nini kwa modeli ya lugha kusoma?
Miundo hufanya kazi kwenye tokeni - vitambulisho kamili vinavyowakilisha vibambo, maneno madogo au maneno - badala ya mifuatano mibichi ya maandishi.
Je, usimbaji wa Byte Pair hujengaje msamiati wake?
BPE huanza kutoka kwa herufi au baiti na kuunganisha kwa uchoyo jozi zinazokaribiana mara kwa mara, na kuunda tokeni za kawaida za maneno madogo.
Ni tatizo gani ambalo njia za maneno madogo kama BPE hutatua ikilinganishwa na tokeni ya kiwango cha maneno?
Msamiati wa kiwango cha neno hushindwa kwenye maneno yasiyoonekana; uwekaji alama wa neno ndogo huvunja maneno adimu katika vipande vinavyojulikana, kuepuka matatizo ya msamiati nje ya msamiati huku msamiati ukiendelea kudhibitiwa.
Ni faida gani ya BPE ya kiwango kidogo, kama inavyotumika katika mifano ya GPT?
Kufanya kazi kwa baiti ghafi kunamaanisha kuwa kila ingizo linalowezekana linaweza kusimba, kwa hivyo hakuna herufi zisizojulikana bila kujali lugha au ishara.
Kwa nini hesabu ya ishara ya mfano mara nyingi hutofautiana na idadi ya maneno katika sentensi?
Uwekaji alama wa neno ndogo unaweza kuvunja neno moja katika vipande vingi na ni nyeti kwa nafasi na vipochi, kwa hivyo tokeni huhesabiwa mara chache sana hesabu za maneno sawa.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii