Maxaa dhacay
Dib u eegista Tignoolajiyada MIT waxay ka warbixisaa farqiga waxtarka xogta ee u dhexeeya carruurta luqadda baranaysa iyo moodooyinka luqadda waaweyn ee loo tababaray ururinta qoraalka weyn. Cilmi-baarayaashu waxay isticmaalayaan tartamo-qaab-luqad-yar oo xog-ururin ah, sawir-qaadista kamaradaha madaxa ee carruurta, iyo duubista waaweyn ee nolosha hore ee carruurta si ay u baaraan waxa mashiinnada ka maqan.
MIT Technology Review ayaa sheegaysa in carruurtu ay caadi ahaan bilaabaan soo saarista jumlado sax ah ka dib marka ay maqlaan ku dhawaad 10 milyan oo kelmadood, iyada oo qiyaastu ay gaadhayso ilaa 30 milyan marka ugu sarraysa. Taa beddelkeeda, moodooyinka casriga ah ee luqadaha waaweyn waxay farsamayn karaan trillions of token inta lagu jiro tababarka ka hor. Maqaalku wuxuu qeexayaa kala duwanaanshiyahan sida "farqiga hufnaanta xogta": carruurtu waxay luqadda ku bartaan khibrad yar, oo qaabaysan, halka moodooyinka ay ku tiirsan yihiin ururinta qoraalka oo aad u weyn.
Warbixintu waxay farta ku fiiqday BabyLM, tartan ay soo agaasimeen cilmi-baarayaal ay ka mid yihiin Alex Warstadt, Leshem Choshen, iyo kuwo kale. Dib-u-eegista Tignoolajiyada MIT waxay leedahay tartanka ugu weyni wuxuu xaddidaa moodooyinka koboc ahaan macquulka ah ee ku saabsan 100 milyan oo kelmadood, oo leh socod socod baradka ah oo isticmaalaya 10 milyan. Xogta waxaa ka mid noqon kara buugaagta sheekooyinka, wada-hadalka, qoraal-hoosaadyada filimada, Wikipedia, iyo qoraallada hadalka ee carruurta. Moodooyinka waxaa lagu qiimeeyaa hawlaha naxwaha ee la mid ah kuwa loo isticmaalo cilmi nafsiga.
Marka loo eego MIT Technology Review, tartanku waxa uu caqabad ku noqday malo awaalka ah in barashada manhajka-soo bandhigida agab fudud ka hor agab adag-ay ka caawin lahayd moodooyinka in ay wax badan bartaan sida carruurta. Habka loo wadey ayaa ahaa mid caan ah wareegii koowaad balse ma uusan soo bandhigin sidii la filayey. Maqaalku wuxuu leeyahay nidaamka hogaaminta ee 2024, GPT-BERT, oo lagu daray saadaasha xigta ee soo socota oo leh qaabaynta luqadda daboolan iyo, ka dib tababar ku saabsan 100 milyan oo kelmadood, ayaa dhaaftay Meta's Llama 2 70B halbeegga BabyLM. Warbixintu waxay kaloo ku nuuxnuuxsatay in moodooyinkani ay aad uga daciifsan yihiin hababka ganacsi ee hadda jira oo aanay dib u soo saarin awoodaha guud ee ilmaha.
Maqaalku wuxuu sheegay in qoraalka oo keliya uu noqon karo qiyaas aan ku filnayn oo ah waayo-aragnimada carruurnimada. Mashruucii SAYCam ee Michael Frank waxa uu diiwaan galiyay laba saacadood todobaadkii nolosha saddex carruur ah oo u dhaxaysa lix bilood iyo laba sano iyo badh. Dib u eegista Tignoolajiyada MIT waxay leedahay moodeel lagu tabobaray 61 saacadood ee muuqaalkan cayriin wuxuu bartay inuu aqoonsado walxaha oo lagu xidhiidhiyo ereyo, laakiin ma uusan soo saarin awoodaha ilmaha laba jirka ah. Mashruuc cusub oo ay hogaaminayso Uri Hasson ayaa duubay 1,000-kii maalmood ee ugu horreeyay nolosha 17 carruur ah, iyadoo la isticmaalayo kamarado iyo makarafoono meelaha ay deggan yihiin qiyaastii 12 saacadood maalintii inta badan maalmaha. Xogta natiijada ka soo baxday waxaa lagu sifeeyay horudhac dhawaan la sameeyay, laakiin maqaalku kuma bixiyo macluumaad ku filan halkan si si madaxbanaan loo qiimeeyo hababka ama natiijooyinka preprint.
MIT Technology Review ayaa sheegaysa in cilmi-baarayaashu ay ka fiirsanayaan sahaminta firfircoon iyo barashada bulshada sidii maaddooyin dheeraad ah oo maqan. Alison Gopnik ayaa ku doodeysa in caruurtu ay doortaan khibradaha, tijaabiyaan, raadiyaan raadadka la saadaalin karo ee aduunka, halka Elizabeth Bonawitz ay sheegtay in caruurtu ay sabab uga dhigaan macalimiinta iyo sababta macluumaadka loo bixiyo. Maqaalku wuxuu leeyahay raadraaca BabyLM ee u oggolaanaya moodooyinka inay wax ku bartaan isdhexgalka moodooyinka kale kama aysan fiicneyn hababka caadiga ah. Cilmi-baarayaasha Meta iyo la-hawlgalayaasha tacliinta ayaa sidoo kale ku dhawaaqay halbeeg iyo caqabad ku lug leh muuqaallada kamaradaha madaxa ee dhallaanka, in kasta oo warbixintu aysan caddayn in dadaalkan uu soo saaray qaab-ciyaareed guul leh.
Faahfaahinta isha: technologyreview.com ↗
Maxay muhiim u tahay
Cilmi baaristu waxay saameyn kartaa sida moodooyinka AI loo tababaray, gaar ahaan fiidyowga iyo luqadaha laga tirada badan yahay halkaasoo xog-ururin aan la heli karin. Waxa kale oo laga yaabaa inay bixiso qalab cusub oo tijaabo ah oo lagu baranayo horumarinta luqadda, halka maqaalku xoogga saarayo in moodooyinka hadda jira ay ka fog yihiin inay soo saaraan awoodaha ballaaran ee ilmaha.
Dib-u-eegista Tignoolajiyada MIT waxay soo warinaysaa in hufnaanta xogtu ay noqotay caqabad xagga injineernimada ah sida horumariyeyaasha AI ay cabbiraan moodooyinka iyagoo kordhinaya xogta tababarka. Maqaalka ayaa sheegaya in moodooyinka xuduuduhu ay ku sii tababari karaan qiyaastii toban jeer xog ka badan Llama 3.1 ayaa la sheegay 15 tiriliyan calaamadood, halka sahayda xogta internetka ee fudud ee la heli karo ay aakhirka noqon karto mid xadidan, lagana yaabo horraantii 2030-meeyadii. Jadwalkaasi waa qiyaas loo nisbeeyey dooda maqaalka oo aan si madaxbanaan loo xaqiijin halkan.
Waxbarasho hufan ayaa ballaarin karta helitaanka horumarka AI. Warbixintu waxay soo xigatay David Samuel, oo ka mid ah naqshadeeyayaasha GPT-BERT, isagoo sheegay in Czech iyo Noorwiiji ay haystaan xogta tababarka aad uga yar marka loo eego Ingiriisiga, halka luqadaha sida Sami ay yeelan karaan kaliya tobanaan milyan oo calaamado ah. Haddii moodooyinka ay si wax ku ool ah uga baran karaan xog-ururinta yaryar, jaamacadaha iyo bulshooyinka ku shaqeeya luqadaha aan kheyraadka lahayn waxay awood u yeelan karaan inay dhisaan nidaamyo karti leh iyada oo aan la helin agabka looga baahan yahay tababarka cabbirka sare. Dib u eegista Tignoolajiyada MIT waxay tan u soo bandhigaysaa faa'iido iman karta, ee ma aha natiijo la soo bandhigay.
Cilmi-baaristu waxay sidoo kale muhiim u noqon kartaa multimodal AI. MIT Technology Review ayaa sheegaysa in ku darista xogta muuqaalka ee hababka BabyLM aysan wali soo saarin faa'iidooyinkii la filayay, halka moodooyinka jira ee lagu tababaray sawirada carruurta ay barteen kaliya ururada ereyada fudud. Haddii cilmi-baarayaashu ay aqoonsadaan sida carruurtu isugu daraan aragga, maqalka, dhaqdhaqaaqa, dareenka, iyo luqadda, natiijooyinkaas waxay ku wargelin karaan nidaamyada loo tababaray muuqaalka iyo xogta kale ee dareenka. Maqaalku ma sheegayo hab la xaqiijiyay oo mar hore xiray farqiga.
Waxaa jira qiimo cilmiyeed ka baxsan hufnaanta moodeelka. Warbixintu waxay qeexaysaa cilmi-baarayaasha isticmaalaya moodooyinka luqadda inay yihiin tijaabo tijaabo ah oo aan qummanayn ee isticmaalayaasha luqadda. Saynis yahanadu waxa ay ku soo rogi karaan xaalado adag ama anshax xumo in lagu soo rogo caruurta, sida xadidida la kulanka foomamka naxwe ahaaneed ee gaarka ah ama la jaanqaadida heerar kala duwan oo laba luuqadood ah. Dib-u-eegista Tignoolajiyada MIT waxay leedahay tijaabooyinka noocan oo kale ah waxay tijaabin karaan fikradaha ku saabsan in luqaddu ay ku xiran tahay qaab-dhismeedka gudaha, caqabadaha waxbarashada guud, ama waayo-aragnimada deegaanka. Isbarbardhiggan ayaa ah mid xaddidan sababtoo ah maskaxdu way dhisan tahay, si joogto ah u horumartaa, waxayna ka kooban tahay habab bayooloji oo qaababka luqaddu aanay wadaagin.
Caddaynta dhexe waxay taageertaa gabagabada cidhiidhiga ah marka loo eego sheegashooyinka ah in AI ay ku soo wajahan tahay barashada aadanaha. MIT Technology Review ayaa sheegaysa in moodellada ay baran karaan syntax oo ay si fiican u fulin karaan bartilmaameedyada la doortay, laakiin sidoo kale waxay leeyihiin nidaamyada cabbirka ilmaha ayaa weli ah kuwo aan ciriiri lahayn, qaar badan oo aan soo saari karin qoraal, iyo moodooyinka hadda lagu tababaray fiidyowga ayaa aad uga fog caruurnimada. Maqaalku ma caddaynayo in dhisme kasta oo jira uu luqadda ku barto waxtarka heerka bini'aadamka, ama in fikradaha laga soo qaatay moodooyinka ay xallin doonaan murannada soo jireenka ah ee xagga luqadda ama cilmi-nafsiga korriinka.
Farsamaynta Is-dhexgalka: Sida Dhabta Ay U Shaqeyso
U baadh tignoolajiyada hoose ee ka dambeeya horumarkan si isdhexgal leh.
Which component of an AI application is the machine-learning model itself?
Maxaa la daawan doona xiga
Daawo bal in hababka tababarka ee hab-dhaqameedka badan, isdhexgalka, iyo bulshada xog-ogaal u yahay ay hagaajinayaan waxqabadka xogta ilmaha. Sidoo kale fiirso in xog-ururinta cusub sida duubista mustaqbalka fog ee nolosha carruurtu ay soo saaraan horumar la qiyaasi karo, iyo in cilmi-baarayaashu ay kala saari karaan fikradaha garashada ee waxtarka leh marka la barbardhigo nidaamyada aasaasiga ah ee kala duwan.
Meesha ugu horeysa ee la daawado waa in moodooyinka lagu tababaray xogta dareenka qani ay ka gudbi karaan ururada ereyada shayga. MIT Technology Review waxa ay sheegtay in nidaamyada SAYCam ku salaysan ay barteen kelmado fudud sida "kubad" iyo "bisad", laakiin ma ay noqon isticmaaleyaal luqadeed oo awood leh. Qiimaynta mustaqbalka waa in la tijaabiyaa naxwaha, sal-dhigista, guud ahaan, isdhexgalka, iyo barashada waqti ka dib halkii lagu tiirsanaan lahaa natiijooyinka aqoonsiga goonida ah.
Cilmi-baarayaashu waxay sidoo kale u baahan doonaan inay go'aamiyaan in waxbarashada firfircooni ay soo saarto faa'iidooyin la qiyaasi karo. Maqaalku wuxuu qeexayaa carruurta inay doortaan khibradaha, tijaabinta, iyo raadinta macluumaadka buuxinaya daldaloolada aqoonta, laakiin wuxuu leeyahay tijaabooyinkii hore ee qaab-bulsheed kama aysan garaacin moodooyinka caadiga ah. Horumarka macne leh wuxuu u baahan doonaa isbarbardhig la xakameeyey oo muujinaya qaababka sahaminta ama isdhexgalka ee wanaajiya waxbarashada isla xogta iyo xisaabinta xadka.
Xog-ururinta dhaadheer ayaa laga yaabaa inay beddelaan saldhigga caddaynta. MIT Technology Review ayaa sheegaysa in mashruuca Hasson uu duubay 17 carruur ah 1,000-kii maalmood ee ugu horreeyay, taas oo abuuraysa aragti aad uga weyn waayo-aragnimadii hore ee mashruucii hore ee kamaradaha. Waxyaabaha muhiimka ah ee aan la garanayn waxaa ka mid ah sida ay matalaan qoysaska ka qaybgalaya, sida duubista loo sharraxay, waxa ilaalinta qarsoodiga ah ee xukuma gelitaanka, iyo haddii xogta loo isticmaali karo in lagu tababaro moodooyinka iyada oo aan la dhimin khibradda carruurnimada oo loo dhigo calaamado gaaban oo la cabbiri karo. Isha kama jawaabto su'aalahan.
BabyLM iyo bartilmaameedyada la xidhiidha waa in loo raacaa soo saarista iyo baaxadda. Maqaalku wuxuu soo sheegayaa natiijo xooggan oo GPT-BERT ah oo ku saabsan hal bartilmaameed oo ka dhan ah Llama 2 70B, laakiin sidoo kale waxay caddaynaysaa in tani aysan ka dhigin GPT-BERT guud ahaan mid la mid ah qaabka ganacsiga casriga ah. Akhristayaashu waa in ay daawadaan in natiijadu ay ka kooban tahay luqadaha, xogta xogta, cabbirada moodeelka, iyo hawlaha qiimaynta, iyo haddii faa'iidooyinka ay ka yimaaddeen hababka waxbarasho ee ka wanaagsan ama xulashada naqshadaynta bartilmaameedka gaarka ah.
Ugu dambeyntii, mudnaanta wax ku oolka ah ee goobta ayaa laga yaabaa inay go'aamiyaan in cilmi-baarista cunugga dhiirigeliyay ay faafo. MIT Technology Review ayaa sheegaysa in shaybaarada xudduudaha aysan si ballaaran ugu tartamayn koobiyeynta cilmi-nafsiga korriinka, halka Meta ay muujisay xiisaha gaarka ah ee cilmi-baarista fiidiyowga iyo madaxa carruurta. Lama garanayo in shirkaduhu ay daabici doonaan habab iyo natiijooyin ku filan si ay u oggolaadaan baaritaan madax-bannaan, haddii bulshooyinka ku hadla luqadda yar ay si toos ah uga faa'iideysan doonaan, iyo haddii natiijooyinka garashada ee laga soo qaatay moodooyinka AI ay u adkeysan doonaan caddaynta carruurta dhabta ah iyo daraasadaha korriinka.