Next-Token Saadaasha
Saadaasha ku xigta waa ujeedada fudud ee khiyaanada leh ee ka dambeysa moodooyinka qaabka GPT: marka la eego wax walba ilaa hadda, qiyaas qaybta xigta ee qoraalka.
Dulmar
Repeated billions of times, this single task produces models that write, reason, and converse.
quusid qoto dheer
Saadaasha ku xigta waxay tabobaraysaa moodal si loogu meeleeyo itimaalka calaamadda xigta marka la eego dhammaan calaamadihii hore. Qoraalka marka hore waxa loo kala qaybiyaa calaamado (xardho-hoosaad) by tokenizer sida codeing byte-pair. Transformer-kaliya ayaa akhriya isku xigxiga bidix ilaa midig oo soo saara qaybinta itimaalka ee dhammaan ereyada booska ku xiga. Inta lagu jiro tabobarka, qaabka waxa la tusaa qoraal weyn oo la ganaaxo mar kasta oo uu ku meeleeyo suurtogalnimada hoose ee calaamadda xigta ee dhabta ah. Wakhtiga jiilka, moodelku waxa uu tijaabiyaa ama hunguri ka qaadaa calaamad, ku dhejiyaa, oo si toos ah ugu celiyaa wareeggan. Middan ujeedadu waxay si cajiib ah u miisaamaysaa: GPT-2, GPT-3, iyo guulaystayaal dhamaantood waxay barteen naxwaha, xaqiiqooyinka, turjumaada, iyo sababaynta iyagoo si fiican u saadaalinaya calaamada xigta.
Aragtida Farsamada
Habka ugu muhiimsani waa sababta (masgaraw) is-fiirsasho: marka la saadaaliyo booska N, moodeelku waxa laga yaabaa inuu tago boosaska 1 ilaa N-1, marna mustaqbalka. Lakabka wax-soo-saarka ayaa mashruuciya xaaladda qarsoon ee kama dambaysta ah ee ku wajahan ereyada oo wuxuu dabaqaa softmax si uu u helo itimaalka. Tababarku waxa uu yareeyaa iskutallaabta-entropy, oo u dhiganta in la kordhiyo suurtagalnimada qoraalka la arkay. Muunad-samaynta ayaa koontaroolaysa sida heerkulka iyo dib-u-qaabaynta sare-p taas qaybinta marka loo eego si looga ganacsado hal-abuurka lidka ku ah isku halaynta.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka Saadaasha Xiga-Token
Saadaasha xigta ee la socota waxay aasaas u tahay dhammaan moodooyinka casriga ah ee casriga ah waxayna ahaan doontaa laf-dhabarta wax-soo-saarka AI. Cilmi-baadhistu waxay ku dheeraynaysaa daaqadaha macnaha guud, male-awaal iyo isbarbar-dhig u samaynta xawaaraha, iyo ujeedooyinka saadaalinta calaamado badan oo hal mar qiyaasa dhawr calaamado mustaqbalka ah. Xoojinta barashada lakabyada jawaab celinta aadanaha ee sare si loo waafajiyo wax soo saarka. Soohdintu waxa ay ka dhigaysaa isla ujeeddada fudud mid ka jaban, dhaqso badan, oo la kontarooli karo marka la eego weligood-weyn.
Dhaqangelinta Adduunka-dhabta ah
Awood siinta ChatGPT iyo caawiyayaasha la midka ah si ay u dhaliyaan jawaabaha wada hadalka hal calaamad markiiba.
Si otomaatig ah u buuxi oo u codee soo jeedinta aaladaha sida GitHub Copilot markaad wax qorayso.
Samaynta iimaylo, maqaallo, iyo nuqul suuq-geyneed oo degdeg ah.
Jiil-qoraal-waqti-dhab ah oo gacan-yareyaal qoraal ah oo dhammeeya jumladahaaga.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Next-Token Prediction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Tababarka Saadaasha Calaamadaha Badan
Su'aalaha soo noqnoqda
What is Next-Token Prediction?
Saadaasha ku xigta waa ujeedada fudud ee khiyaanada leh ee ka dambeysa moodooyinka qaabka GPT: marka la eego wax walba ilaa hadda, qiyaas qaybta xigta ee qoraalka. Balaayiin jeer soo noqnoqda, hawshan keli ah waxay soo saartaa moodallo wax qora, caqli-gal ah, oo wada sheekaysanaya.
Muxuu soo saarayaa tusaalaha saadaasha xigta ee tallaabo kasta?
Qaabka ayaa soo saara ixtimaalka calaamad kasta oo ku xigta ee suurtogalka ah, ka dibna mid ayaa lagu doortaa muunad ama doorasho hunguri ah.
Dareenkee noocee ah ayaa isticmaala koodhka qaabka GPT?
Maaskarada sababtu waxay hubisaa in booska N kaliya uu arki karo boosaska ka hor, isagoo ilaalinaya saadaasha bidix-ilaa-midig.
Waa maxay macnaha jiilka 'autoregressive'?
Jiilka autoregressive wuxuu soo saaraa hal calaamad, wuxuu ku daraa macnaha guud, wuxuuna ku celiyaa wareegga.
Waa maxay shaqada khasaaraha sida caadiga ah la yareeyey inta lagu jiro tababarka?
Cross-entropy waxay ciqaabaysaa tusaalaha u qoondaynta itimaalka hoose ee calaamadda xigta ee runta ah, oo u dhiganta sare u qaadida suurtagalnimada.
Maxaa kor u qaadaya heerkulka inta lagu jiro tijaabada?
Heerkulka sare wuxuu sifeeyaa qaybinta ixtimaalka, kordhinta randomity; heerkulka hoose wuxuu ka dhigayaa doorashooyin badan oo muxaafid ah.