Hababka Feejignaanta
Fiiro gaar ah ayaa u ogolaada qaabeeyaha inuu go'aamiyo kelmadaha kale ee jumlada ku jira inta badan marka la turjumayo kelmad kasta.
Dulmar
It is the core idea that made the transformer — and therefore modern AI like ChatGPT — possible.
quusid qoto dheer
Feejignaanta ayaa ka jawaabeysa su'aal fudud kelmad kasta: kelmadee kale ayaan fiiriyaa si aan middan u fahmo? Waraaqda 2017 'Fiiro Gaar ah Waa Dhammaan Waxaad U Baahan Tahay' Vaswani iyo asxaabtiisa Google waxay soo bandhigeen Transformer-ka, kaas oo u isticmaala dareenka sida matoorka ugu muhiimsan oo hoos u dhigaya naqshadaha soo noqnoqda ee duugga ah. Calaamad kasta waxa loo rogaa saddex qaybood: weydiimo (maxaan raadinayaa?), fure (maxaan bixiyaa?), iyo qiimo (macluumaadka aan sido). Weydiinta calaamada waxaa lagu barbar dhigayaa fure kasta oo kale si loo soo saaro miisaanno feejignaan, ka dibna isku dar qiyamka. Feejignaanta nafta waxay tan ku samaysaa hal taxane si kelmad kastaa si toos ah ugu dhegto kelmad kasta. Feejignaanta madax-badan ayaa isbarbardhigyo badan oo noocan oo kale ah si isbarbar socda, mid walbana diiradda saaraya qaabab kala duwan.
Aragtida Farsamada
Xisaabta ayaa la miisaamay dareenka alaabta dhibicda: softmax(QK^T / √d_k) V. Dhibicda su'aalaha iyo furayaasha ayaa keenaya sida ay lamaane kasta u khusayso; U qaybinta xidid laba jibaaran ee cabbirka furaha (√d_k) waxay ka ilaalisaa buundooyinkaas inay koraan aad u weyn; softmax waxay u rogtaa miisaanyo wadarta hal; ku dhufashada V waxay soo saartaa isku dhafka qiyamka. Sababtoo ah calaamad kastaa waxay barbardhigtaa midba midka kale, qiimaha wuxuu ku koraa labajibbaaran dhererka isku xigxiga - O (n²) - taas oo ah sababta wax-soo-saarka dheer uu qaali u yahay iyo sababta hagaajinta sida FlashAttention u jiraan.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka Hababka Feejignaanta
Feejignaan waa halkan in la joogo, laakiin qiimaheeda afar geesoodka ah ayaa keenaya cilmi-baaris xooggan. FlashAttention waxa ay ka dhigtay dareenka caadiga ah mid aad u dheereeya oo aad u hufan oo xasuus leh isaga oo dib u habaynaya xisaabinta. Jihooyinka cusub waxaa ka mid ah fiiro gaar ah oo toos ah, kooxaysan iyo feejignaan su'aalo badan si loo yareeyo xusuusta inta lagu jiro jiilka, iyo naqshadaha isku dhafan ee ku daraya dareenka iyo moodooyinka goob dawladeed sida Mamba si aad u dheeraato. Filo nidaamyada mustaqbalka si ay u dhawraan dabacsanaanta dareenka iyada oo la leexinayo qalooca kharashka si habbaynta dhererka buugga ama agabka dukumeentigu ay u noqdaan kuwo joogto ah oo la awoodi karo.
Dhaqangelinta Adduunka-dhabta ah
Turjumaada mishiinka, halkaas oo moodelku ka soo jeedo ereyada isha ee khuseeya marka la soo saarayo kelmad kasta oo la turjumay.
Soo koobid, halkaas oo fiiro gaar ah ay ka caawiso moodelku inuu diiradda saaro jumladaha ugu muhiimsan ee maqaal dheer.
Kaaliyeyaasha code ee dib ugu noqda qeexitaanno doorsooma hore marka la saadaalinayo xariiqda xigta.
Su'aal ka jawaabeysa dukumeenti, halkaas oo fiiro gaar ah ay ku xirto ereyada su'aalaha iyo tuducda ay ku jirto jawaabta.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Attention Mechanisms quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Feejignaanta daaqada simbiriirixaya
Su'aalaha soo noqnoqda
What is Attention Mechanisms?
Fiiro gaar ah ayaa u ogolaada qaabeeyaha inuu go'aamiyo kelmadaha kale ee jumlada ku jira inta badan marka la turjumayo kelmad kasta. Waa fikradda udub-dhexaadka ah ee samaysay isbeddelka - oo sidaas darteed AI casriga ah sida ChatGPT - suurtagal ah.
Hal jumlad, muxuu sameeyaa habka fiiro gaar ah?
Feejignaanta ayaa xisaabisa miisaannada go'aaminaya inta ay le'eg tahay calaamad kasta waa in ay ku sawirto calaamadaha kale marka la samaynayo matalideeda.
Warqadee calaamadee 2017 soo bandhigtay qaab dhismeedka transformer?
'Fiiro gaar ah ayaa ah dhammaan waxaad u baahan tahay' (Vaswani et al., 2017) ayaa soo jeediyay isbeddelka, kaas oo ku tiirsan dareenka halkii uu soo noqnoqon lahaa.
Maxay yihiin saddexda qaybood ee loo xisaabiyay calaamad kasta?
Calaamad kasta waxay soo saartaa weydiin, fure, iyo qiimo; Weydiimaha waxay la mid yihiin furayaasha miisaanka qiyamka.
Habka softmax (QK^T / √d_k) V, maxaa loo qaybiyaa √d_k?
Isku-buufinta xididka labajibbaaran ee cabbirka muhiimka ah waxay ka hortagtaa alaabada dhibco waaweyn ee softmax u riixi doonta jaangooyooyin yaryar, ilaalinta tababarka mid deggan.
Waa maxay sababta is-fiirsiga caadiga ahi uu qaali ugu noqdo agabka aadka u dheer?
Calaamad kastaa waxay u dhigantaa calaamad kasta oo kale, markaa tirada isbarbardhigga waxay u miisaamaysaa sida n², taasoo ka dhigaysa taxanaha dheer ee wakhtiga iyo xusuusta qaaliga ah.