Xiga xigaHagaha xiga
Feejignaanta Daahsoon ee Madax-badan
Luuqadda AI
HAGAHA Farsamada
Bixinta Feejignaanta iyo Goynta Madaxa
Fiiro gaar ah u bixintu waa hab lagu raadiyo sida akhbaartu ugu socoto lakabyada fiiro gaar ah ee Transformer-ka si loo sharaxo calaamadaha wax gelinta ee saameeya saadaasha.
Dhageyso hagahanAI-waa laga sheekeeyay · ~2 min
Boggaan2 daqiiqo akhri
Dulmar
Head pruning removes attention heads that contribute little, shrinking models without hurting accuracy. Together they help us interpret and compress Transformers.
quusid qoto dheer
Transformers waxay ku faafiyaan fikradooda madaxyo badan oo feejignaan ah oo kala duwan, sidaas darteed khariidadda dareenka lakabka ayaa dhif ah inay sheegto sheekada oo dhan. Fiiro gaar ah, oo ay soo bandhigeen Abnar iyo Zuidema sanadka 2020, ayaa tan hagaajiya iyada oo lagu dhufto lakabka fiirsashada lakabka (ka dib xisaabinta isku xirka haraaga) si loo qiyaaso inta calaamad kasta oo soo gelis ah ugu dambeyntii wax ku biiriso calaamadda wax soo saarka. Si gooni ah, cilmi baaris sida Michel iyo asxaabtiisa' 'Lix iyo Toban Madax Ma Dhabbaa Mid Ka Wacan?' waxay muujisay in madax badan ay yihiin kuwo aan loo baahnayn: jajab weyn ayaa la gooyn karaa wakhti go'an oo leh luminta saxda ah ee aan muuqan. Manjooyin madaxu waxay ku kala sareeyaan madaxda muhiimad ahaan, inta badana isticmaala buundooyinka xasaasiga ku salaysan gradient, ka dibna waxay qarisaa kuwa ugu faa'iidada yar. Labada farsamooyin waa is kaabayaal: soo-bandhigiddu waxay daaha ka qaadaysaa qaybaha shabakadda ee macnaha u leh fasiraadda, iyo manjooyinku waxay u dhaqmaan dib-u-celinta si moodooyinka yaryar iyo dhaqso looga dhigo.
Dhaqangelinta Adduunka-dhabta ah
Aragtida ereyada jumlada ku jira kala soocida Transformer-ku uu ku tiirsan yahay, iyadoo fiiro gaar ah loo siinayo si loo muujiyo calaamadaha saamaynta leh
Cadaadiska qaabka BERT ee geynta moobaylka iyadoo la jarayo madax feejignaan badan si loo yareeyo daahitaanka
Hantidhawrka qaabka eexda iyadoo la raadinayo qulqulka dareenka ee saadaasha dib ugu noqoshada calaamadaha gelinta xasaasiga ah
Dedejinta ka-fiirsashada hababka tarjumaadda wax-soo-saarka iyadoo meesha laga saarayo madax-muhiimeedka hooseeya ee lagu aqoonsaday dhibcaha xasaasiga ah
Mustaqbalka Feejignaanta Fiirinta iyo Goynta Madaxa
Sida moodalku u koraan, fikrado hufan iyo sharraxaad la aamini karo labaduba waxay helayaan degdeg. Filo in madaxa gooyntu ay ku dhex milmaan manjooyin habaysan, qiyaasid, iyo kala furfurid dhuumaha geynta ee adeega cidhifyada iyo kharashka. Turjumaada waxay ka sii gudbaysaa ka gudubka socodka dareenka, hababka miisaan culus, iyo falanqaynta makaanikada ee baadha hawlaha madaxayada shakhsi ahaaneed. Cadaadiska sharciyeynta ee AI la sharraxi karo wuxuu sii wadi doonaa cilmi-baarista xiriirinta madaxyada muhiimka ah waxay dhab ahaantii xisaabiyeen.
Ku dhaqangelinta
Maxay muhiim u tahay
- Qiimaha iyo miisaaniyada. Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
- Go'aamo cad. Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
- Xakamaynta tayada. Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Iska ilaali
- Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
- Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
- Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Tallaabooyinka xiga
- Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
- Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
- La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
- U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Take the Attention Rollout and Head Pruning quiz
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
What is Attention Rollout and Head Pruning?
Fiiro gaar ah u bixintu waa hab lagu raadiyo sida akhbaartu ugu socoto lakabyada fiiro gaar ah ee Transformer-ka si loo sharaxo calaamadaha wax gelinta ee saameeya saadaasha. Madax gooyntu waxay meesha ka saartaa madaxyada dareenka kuwaas oo wax yar ku soo kordhiya moodooyinka sii yaraanaya iyada oo aan waxyeello u geysan saxnaanta. Si wada jir ah waxay nooga caawiyaan turjumaada iyo isku dhufashada Transformers.
Waa maxay hadafka fiiro gaar ahaaneed?
Soo-bandhigiddu waxay dhufataa dareenka lakabka-xikmad leh (oo leh hadhaaga) si loo qiyaaso sida calaamad kasta oo gelis ahi u saamayso wax soo saarka.
Waa maxay sababta khariidadda dareenka lakabka ahi ay inta badan ugu filnayn sharraxaadda?
Sababtoo ah caqli-galku waxa loo qaybiyaa lakabyo iyo madaxyo is dulsaaran, hal khariidad ma qaadi karto xogta buuxda.
Maxay fiiro gaar ah u soo kordhinaysaa shax kasta oo feejignaan ah si loogu xisaabtamo xidhiidhada hadhsan?
Ku darista qayb ka mid ah aqoonsiga waxay tusaale u tahay isku xidhka boodboodka ee u ogolaanaya calaamaduhu inay haystaan macluumaadkooda.
Maxay cilmi-baadhis ku samaysay feejignaan madax-badan ka muujisay madax-furnaanshiyaha?
Daraasadaha sida 'Lixda iyo tobanka madax ma ka fiican yihiin hal?' waxay muujiyeen jajab badan oo madax ah oo aan loo baahnayn marka la eego.
Sidee muhiimada madaxu caadi ahaan loogu qiyaasaa manjooyinkeeda?
Muhiimadda waxaa inta badan lagu qiimeeyaa iyadoo la isticmaalayo jaan-gooyada khasaaraha marka loo eego doorsoomiyaha maaskaro ee madax kasta.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan