Luqadda AI HAGAHA
Isku dhafka Qotodheerta
Isku-dhafka Moolka (MoD) wuxuu u ogolaanayaa taransfooriyaha inuu ku isticmaalo xisaabin kala duwan calaamado kala duwan, isaga oo kaliya ku hagaya calaamadaha 'muhiimka ah' ee lakab kasta xisaabinta culus.
Dhageyso hagahanAI-waa laga sheekeeyay · ~2 min
Boggaan2 daqiiqo akhri
Dulmar
It cuts the cost of processing easy tokens while keeping a fixed, predictable compute budget.
quusid qoto dheer
Transformers-yada caadiga ah waxay ku dabaqaan lakab kasta calaamad kasta, xitaa kuwa yaryar sida xarakaynta. Isku-dhafka Qoto-dheer, oo uu soo bandhigay Google DeepMind sanadka 2024, wuxuu ku daraa router yar ee baloog kasta oo dooranaya jajab sare-k go'an oo calaamado ah si loo maro is-fiirinta buuxda iyo xisaabinta MLP; inta soo hartay waxay ka boodaan xannibaadda iyadoo loo marayo isku xirka haraaga. Sababtoo ah kaliya calaamadaha k ayaa lagu farsameeyaa lakabkiiba, wadarta xisaabinta (FLOPs) waa la daboolay oo hore ayaa loo yaqaan, si ka duwan hababka hore ee qoto-dheer ee firfircoon ee kala duwan oo aan la saadaalin karin. Tani waxay ka dhigaysaa baqashada iyo ka faa'iidaysiga qalabka mid hufan. Moodooyinka MoD-tababaray waxay la jaanqaadi karaan tayada beddelka aasaasiga ah iyagoo isticmaalaya FLOPs ka yar gudbintii hore, ama waxay gaaraan tayada sare isla xisaabinta, fikraduna waxay si dabiici ah u curisay Isku-dhafka-Khubarada si loo siiyo moodooyinka 'MoDE' ee ku socda qoto dheer iyo ballac labadaba.
Dhaqangelinta Adduunka-dhabta ah
Yaraynta FLOP-yada loo baahan yahay si loo farsameeyo dukumeentiyada dheer iyadoo laga boodayo xisaabinta qoto dheer ee calaamadaha buuxinta
Tababar qaab ku habboon tayada aasaasiga ah ee xisaabinta hoose, hoos u dhigista qiimaha adeegga
Isku darka Khubarada Isku-dhafka ah (MoDE) si loo maro labada qoto dheer ee lakabka iyo xulashada khabiirka
Haysashada la saadaalin karo, daahitaanka go'an calamad kasta sababtoo ah xisaabinta miisaaniyada lakabka ayaa horay loo sii dejiyay
Mustaqbalka Isku-dhafka Moolka
Xisaabinta shuruudaysan waa kabaal weyn oo waxtarka leh sida cabbirka moodooyinka, iyo MoD waa hore, tusaale nadiif ah. Filo is dhexgal qoto dheer oo leh Isku-dhafka-Khubarada (ku-wareejinta qoto-dheer iyo khubarada labadaba), miisaaniyadaha la-qabsiga ee hoos u dhigaya wax-soo-saarka fudud, iyo jiheeyayaasha la bartay kuwaas oo si fiican u aqoonsanaya calaamadaha dhabta ah ee u baahan farsamaynta qoto dheer. Maaddaama kharashyada ka-soo-jeedintu ay u sarreeyaan dhaqaalaha geynta, farsamooyinka u oggolaanaya moodooyinka 'inay si adag uga fikiraan' kaliya halka loo baahdo, iyadoo la ilaalinayo daahitaanka la saadaalin karo, waxay u badan tahay inay noqdaan halbeeg qaab-dhismeedka ballaaran.
Ku dhaqangelinta
Maxay muhiim u tahay
- Xawaaraha iyo miisaanka. Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
- Helitaanka iyo gaarsiinta. Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
- Go'aamo cad. Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Iska ilaali
- Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
- Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
- Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Tallaabooyinka xiga
- Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
- Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
- Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
- Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Take the Mixture of Depths quiz
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
What is Mixture of Depths?
Isku-dhafka Moolka (MoD) wuxuu u ogolaanayaa taransfooriyaha inuu ku isticmaalo xisaabin kala duwan calaamado kala duwan, isaga oo kaliya ku hagaya calaamadaha 'muhiimka ah' ee lakab kasta xisaabinta culus. Waxay dhimaysaa kharashka farsamaynta calaamadaha fudud iyadoo la ilaalinayo miisaaniyad xisaabeedka go'an, la saadaalin karo.
Waa maxay isku-dhafka qoto-dheerku ku kala duwan yahay calaamadaha?
MoD waxa kaliya oo uu maraa calaamado qaar ka mid ah iyada oo loo marayo xisaabinta culus ee lakab kasta, markaa calaamado kala duwan ayaa si wax ku ool ah u helaya qoto dheer oo kala duwan.
Sidee ayay MoD u ilaalisaa miisaaniyadeeda xisaabaadka la saadaalin karo?
Doorashada korka-k go'an ee calaamadihii koofiyadaha koofiyadaha FLOPs waxayna ilaalinaysaa qaababka tensor-ka mid joogto ah, kaas oo ah qalab-saaxiibtinimo.
Maxaa ku dhacaya calaamadaha uusan router-ku ka dooran goob la siiyay?
Calaamadaha aan la dooran ayaa dhaafa xisaabinta block-ka waxaana hore loo sii qaadaa iyadoo aan isbeddelin jidka hadhaaga ah.
Waa maxay warshadda daabisay farsamada Mixture of Depths?
Isku dhafka qoto dheer waxaa soo bandhigay Google DeepMind warqad 2024 ah oo ku saabsan xisaabinta isbeddelka firfircoon.
Maxay soo saartaa isku-darka MoD iyo Isku-dhafka-Khubarada?
Isku darka dariiqa qotoda dheer iyo dariiqa khabiirka ah waxay soo saartaa moodooyinka 'MoDE' kuwaas oo xaaladooda lagu xisaabiyo labada lakab iyo khubarada.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan