Dino is-Distillation
DINO waa hab is-maamul oo u tababara transformer-ka aragga si uu u fahmo muuqaallada aan haba yaraatee wax calaamado ah lahayn, iyada oo lahaanshaha shabakadu iskeed u barato.
Dulmar
It produces features so clean that object boundaries emerge for free in the attention maps.
quusid qoto dheer
DINO, oo loo soo gaabiyo is-fidinta oo aan lahayn calaamado, waxaa daabacay Meta AI (ka dibna Facebook AI) 2021. Waxay isticmaashaa laba koobi oo isku shabakad ah - arday iyo macalin - waxayna ku quudisaa dalagyo kala duwan oo la kordhiyey oo hal sawir ah. Ardaygu waxa uu isku dayaa in uu iswaafajiyo qaybinta wax soo saarka macalinka, in kasta oo macalinku kaliya arko aragti ka duwan. Muhiimad ahaan, macalinka si toos ah looma tababaro; Miisaankeedu waa celcelis dhaqdhaqaaq jibbaaran ee ardayga, si tartiib tartiib ah u daba socda. Si loo joojiyo isku-xidhka inay burburto oo ay noqoto hal jawaab oo joogto ah, DINO waxay udub dhexaad u tahay oo ay u fiirsataa natiijada macalinka. Natiijo cajiib ah ayaa ah in khariidadaha is-fiirsashada ee ka soo baxa aragtida isbeddelka ay noqdaan shay iyada oo aan weligeed loo sheegin shay waxa uu yahay.
Aragtida Farsamada
Labada shabakadoodba waxay soo saaraan qaybinta itimaalka-sare ee ka dib softmax. Ardaygu wuxuu arkaa dalagyo yar yar oo maxalli ah oo lagu daray aragtiyo caalami ah, halka macalinku uu arko kaliya aragtiyada caalamiga ah - istaraatijiyad dalagyo badan oo riixaya joogteynta gudaha-ilaa-caalamka. Khasaaruhu waa mid isdhaafsan oo u dhexeeya macallimiinta iyo ardayda qaybinta, iyada oo gradients ay ku qulqulayaan oo keliya ardayga. Laba xeeladood ayaa ka hortagaya burburka: dhexdhexaadintu waxay ka saartaa celceliska ordaya ee saadka macalinka, heerkulka hooseeyaa wuu afeeyaa, isku dheellitirnaanta midba midka kale si uu wax soo saarku u kala duwanaado.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Visual AI wuxuu si otomaatig ah u samayn karaa baadhista, ogaanshaha, iyo sumadaynta hawlaha miisaanka.
Xulashada dhismayaasha
Kooxaha hal-abuurka leh waxay hindise karaan fikradaha si dhakhso leh iyagoo leh dib-u-eegis buugeed yar.
Kooxda iyo socodka shaqada
Hawlgalladu waxay isticmaali karaan calaamadaha muuqaalka iyo muuqaalka kuwaas oo markii hore adkeyd in la farsameeyo.
Mustaqbalka DINO Is-Distille
DINO ayaa bilaabay shaqo weyn. DINov2 (2023) waxa ay qiyaastay cunto karinta in ka badan bilyan sawiro la soo koobay, iyada oo soo saartay sifooyin muuqaal ah oo ujeedo leh oo ka soo horjeeda moodooyinka la kormeerayo ee qiyaasta qoto dheer, qaybinta, iyo soo celinta - la isticmaali karo iyada oo aan si fiican loo hagaajin. Filo in is-dillaacadu ay udub dhexaad u ahaato marka goobtu ay raacdo moodooyinka aasaasiga ah ee bilaa calaamadda ah ee aragga, robotics-ka, iyo hababka hab-dhaqameedyada badan, halkaas oo sharraxaaddu ay qaali tahay. Hantida-qaybinta degdega ah waxay sidoo kale sii hurisaa cilmi-baadhista la tarjumi karo, aragtida ereyada furan.
Dhaqangelinta Adduunka-dhabta ah
Qaybinta shayga aan la kormeerin, halkaas oo khariidadaha dareenka DINO ay qeexayaan walxaha iyada oo aan lahayn wax calaamado ah oo maaskaro ah
Soo-celinta sawirka iyo ogaanshaha nuqulka, iyadoo la adeegsanayo sifooyinka DINO si loo helo sawirro la mid ah-koobi ama muuqaal la mid ah
DINov2 waxay u taagan tahay laf dhabar baraf leh oo loogu talagalay qiyaas qoto dheer iyo hawlo saadaalin cufan
Kahortababaridda moodooyinka aragga caafimaadka ama dayax-gacmeedka halkaasoo xogta lagu calaamadiyay ay ku yar tahay ama ay qaali tahay
Khatarta & Dariiqyada Ilaalada
Xuquuqda sawirka iyo ogolaanshaha waxay noqon kartaa khataro sharci ah haddii caddayntu aanay caddayn.
Waxqabadka moodeelku wuu ku kala duwanaan karaa iftiinka, tirakoobka, iyo deegaanka.
Wanaagga beenta ah waxa laga yaabaa inaan la dareemin ilaa xadka kalsoonida aan la kormeerin.
Qorshe Hawleedka Dhaqangelinta
Qeex shuruudaha aqbalida ee saxnaanta, dib u celinta, iyo kharashyada khaladka.
Ku tijaabi xogta ku habboon xaaladaha wax soo saarka dhabta ah.
Ku dar dib u eegis bini'aadamka si aad u hesho kalsoonida hoose ama saameeynta sare.
Lasoco moodeel dhaqaaqa oo dib u cusboonaysii kamarada ama xogta kaydinta ka dib.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DINO Self-Distillation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
DreamFusion iyo Saamaynta Distillation Dhibcaha
Su'aalaha soo noqnoqda
What is DINO Self-Distillation?
DINO waa hab is-maamul oo u tababara transformer-ka aragga si uu u fahmo muuqaallada aan haba yaraatee wax calaamado ah lahayn, iyada oo lahaanshaha shabakadu iskeed u barato. Waxay soo saartaa sifooyin aad u nadiif ah oo soohdimaha shayga ay bilaash ugu soo baxaan khariidadaha dareenka.
Maxay u taagan tahay 'MAYA' ee DINO?
DINO macneheedu waa is-difaacid oo aan lahayn calaamado - si buuxda ayaa loo kormeeraa, oo aan u baahnayn tilmaamo biniaadmi ah.
Sidee loo cusboonaysiiyaa miisaanka shabakadda macalinka gudaha DINO?
Macallinku waa EMA ee ardayga, sidaas darteed si habsami leh ayey u raacdaa ardayga halkii si toos ah loo tababari lahaa.
Dhibaato intee le'eg ayay ka hortagtaa udub dhexaadinta iyo fiiqidda natiijada macalinka?
Dhex-dhexaadinta iyo fiiqidda is-dheellitirnaanta midba midka kale si loo ilaaliyo wax-soo-saarka macallinka ee kala duwan, iyada oo laga fogaanayo xalka joogtada ah ee aan yarayn.
Istaraatiijiyada dalagyada badan ee DINO, aragtidee ayuu macalinku helaa?
Macallinku waxa uu arkaa dalagyada caalamiga ah oo keliya halka ardayguna uu sidoo kale arko dalagyo yaryar oo gudaha ah, taas oo dhiirigelinaysa joogtaynta gudaha iyo caalamiga ah.
Waa maxay hantida la yaabka leh ee ka soo ifbaxa maabyada fiiro gaar ah ee Transformer-ka aragga u tababaran?
Feejignaanta DINO ayaa si dabiici ah u muujisa xuduudaha shayga, iyada oo fulinaysa qaybin inkasta oo aan waligood arag waji-xidho.