Codaynta Byte-Lammaanaha
Byte-Pair Encoding (BPE) waa algorithm isku xidhka lagu dhiirigeliyay kaas oo dhisa eray bixin isagoo si isdaba joog ah isugu daraya calaamadaha ugu badan.
Dulmar
It is the tokenizer behind GPT models, balancing tiny vocabularies of characters against huge vocabularies of whole words.
quusid qoto dheer
BPE waxay ku bilaabataa inay qoraalka u daaweyso si taxane ah oo jilayaasha gaarka ah (ama bytes cayriin). Waxay markaa tirisaa lamaane kasta oo ku xiga, waxay ku darsataa lamaanaha ugu badan calaamad cusub, waxayna ku celisaa kumanaan jeer. Isku darka kasta waxaa loo diiwaan galiyay sida qaanuun. Xarfaha caadiga ah sida 'th', 'ing', ama ereyada soo noqnoqda oo dhan waxay si tartiib tartiib ah u noqdaan hal calaamad, halka kelmadaha dhifka ah ay u kala baxaan qaybo yaryar. Asal ahaan habka xogta-cadaadiska laga soo bilaabo 1994, waxaa loo habeeyay NLP by Sennrich et al. sanadka 2016 ee turjumaada mashiinka. GPT-2 iyo GPT-4 waxay adeegsadaan heerka-byte BPE, kaas oo ku shaqeeya UTF-8 bytes sidaa darteed jilaa kasta, emoji, ama luqad had iyo jeer waxaa lagu dhejin karaa eber ka baxsan ereyada.
Aragtida Farsamada
Tababarka BPE waxa ay soo saartaa liis la amray oo xeerarka isku-dhafka ah. Si loo calaamadeeyo qoraalka cusub, algorithmisku wuxuu u kala qaybiyaa bytes/ xaraf wuxuuna ku dabaqayaa isku darka hunguriga ah ee isku midka ah mudnaanta mudnaantiisa ilaa uusan jirin xeer u dhigma. BPE heerka-Byte-ku waxay dammaanad qaadaysaa dib-u-dhac: xitaa calaamad aan la arkin waxay u jajabisaa baydhka ka kooban, markaa ereyada 256 bytes iyo isku-darka la bartay waxay daboolaysaa wax kasta oo aan lahayn calaamad UNK.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka Codaynta Byte-Pair
BPE ayaa weli ah calaamadeeyaha shaqada, laakiin cadaadiska ayaa sii kordhaya xagga byte-ama moodooyinka heerka dabeecadda ee ka booda calaamadaynta cad, ka fogaanshiyaha sida qallafsanaanta kala qaybsanaanta koodka, xisaabta, ama qoraallada aan Ingiriisiga ahayn. Cilmi baaris lagu sameeyay qaab-dhismeedyada bilaa calaamadda ah iyo calaamadeeyayaasha la bartay waxay ujeedadoodu tahay in la hagaajiyo eexda BPE. Weli, xawaaraheeda iyo hufnaanteeda isku-buufintu waxay ka dhigan tahay ereyada qaabka BPE-da ayaa awood u yeelan doona inta badan LLM-yada mustaqbalka dhow.
Dhaqangelinta Adduunka-dhabta ah
GPT-2 iyo GPT-4 waxay adeegsadaan heerka BPE ee heerka byte sidaa darteed jilaa kasta oo Unicode ama emoji waa lagu dhejin karaa khaladaad la'aan.
Nidaamyada tarjumaadda mishiinka waxay isticmaalaan BPE si ay u kala qaybiyaan kelmadaha dhif iyo naadirka ah ama isku dhafan qaybo kelmado hoosaad dib loo isticmaali karo oo la wadaago dhammaan luqadaha.
Hugging Face's tokenizers maktabadda waxay ku tababartaa ereyada BPE ee meelaha gaarka ah sida qoraalka biomedical ama sharci.
Moodooyinka koodku waxay calaamadeeyaan aqoonsiga iyo ereyada muhiimka ah ee BPE, iyaga oo ku dara qaababka soo noqnoqda sida 'def' ama '==' hal calaamad.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Byte-Pair Encoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Calaamadaynta iyo Codaynta Lammaanaha Byte
Su'aalaha soo noqnoqda
What is Byte-Pair Encoding?
Byte-Pair Encoding (BPE) waa algorithm isku xidhka lagu dhiirigeliyay kaas oo dhisa eray bixin isagoo si isdaba joog ah isugu daraya calaamadaha ugu badan. Waa calaamadeeyaha ka dambeeya moodooyinka GPT, isku dheellitirka ereyada yar yar ee jilayaasha lidka ku ah ereyada waaweyn ee erayada oo dhan.
Waa maxay hawlgalka xudunta u ah BPE ku celiso si ay u dhisto erayadeeda?
BPE waxay tirisaa lamaanayaasha summada ee ku xiga oo waxay ku biirtaa ka keliya ee ugu badan calaamad cusub, ku celcelinta kumanyaal jeer.
Maxay BPE ula dhaqantaa qoraalka sida marka ay bilowdo tababarka?
BPE waxay ka bilaabataa unugyada ugu yar (xaraf ama bytes cayriin) waxayna ku koraan calaamado waaweyn iyadoo la isku daray.
Waa maxay sababta heerka-byte-ka BPE-ga uu uga fogaado khaladaadka erayada (UNK) ka baxsan?
Sababtoo ah ereyada aasaasiga ah waxaa ku jira dhammaan 256 bytes, xitaa calaamadaha aan la arkin waxay dib ugu noqdaan matalaaddooda byte.
Halkee bay Algorithm-ka BPE asal ahaan ka timid ka hor inta aysan NLP qaadan?
BPE waxaa loo soo bandhigay sidii farsamada-xakamaynta xogta 1994 ka dibna loo habeeyey calaamadaynta ereyga hoose ee 2016.
Marka calaamadaynta qoraalka cusub, sidee BPE u isticmaashaa xeerarkeeda la bartay?
Shuruucda isku darka waa la dalbadaa, calaamadeyntuna waxay u khusaysaa hunguri weyn iyada oo la siinayo mudnaanta ilaa aan la helin xeer dambe oo u dhigma.