Jàng bu ñuy saytu sa bopp
Jàngat bi ñuy saytu sa bopp dafay tàggat ay model ci done yuñ amul etiket ci sos liggéey bu tontu bi nëbbu ci biir done yi ci seen bopp.
Résumé
It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.
Plongeur bu xóot
Etiketu done ak loxo lu yeex la te seer lool, waaye àdduna bi dafa fees dell ak mbind, nataal, audio ak wideo yuñ etiketewul. Jàngat bi ñuy saytu sa bopp daf koy ubbi ci sos 'liggéey yu baaxul' yu done yi di joxe tontu seen bopp. Ci misaal biñ gëna xam mooy modelu làkk buñ maske, bi BERT di jëfandikoo: nëbb yenn baat ci biir benn frase ba noppi tàggat model bi mu mëna wax luy waaja am ci contexte bi. Modèle yu nuroo ak GPT ñooy wax luy waaja am ci baat bi ci topp. Ci gis-gis, pexe yu wuute yu melni SimCLR dañuy wane xeetu ñaari mbay yuñ yokk ci benn nataal, jàngal ko ni ñoom ñaar ñoo bokk, boole ci tàqale nataal yu wuute. Sooy saafara jafe-jafe yi nga defaree sa bopp, dafay forse model bi mu tabax ay gis-gis yu am solo ci biir, luy tekki ak defar. Representation yooyu dañuy toxal ak doole ci liggéey yu am solo yu amul benn done buñ etikete.
Gis-gis xarala
Kaf gi mooy defar siñaal buy saytu te doo fay. Ci modeling masked, token bi nëbbu mooy etiket bi, kon mën nañu xayma perte te kenn duko def benn annotation. Ci jàngat bu wuute, ñaari yokkute ci benn nataal dañuy formu 'péer positif' bu wara toog jege ci espace embedding, fekk yeneen nataal yi 'negatif' lañuy puus. Numu mëna deme def nañu ko ci etiket yu bawoo ci structure done yi, jàng man-mani yu mag yi nga xamni ci ginaaw soxla nañu ay fine-tuning yu woyof.
njeextalu pexe
dogal yu gëna leer
Daf lay jàppale nga tàqale kàddu yu leer ci wàllu xarala ak làkku fësal njaay.
Njëgg ak budget
Mën nga laaj laaj yu gëna baax ci samp gi balaa ngay dugal xaalis wala sa jotu liggéey.
Ekip ak def liggéey
Ekip yi bokk xam-xam ñoo gëna mëna jël yenn dogal ci wàllu produit, politik ak jàng.
Ëlëgu jàng buy saytu sa bopp
Njàngale mu yor sa bopp mooy motër bi ci ginaaw xeeti fondasioŋ yu tay yi, te liggéey boobu dina gëna màgg. Tendens bi leer mooy ñu jëm ci tàggat-yaram bu bari, fu benn model di jàngee ci mbind, nataal, audio, ak wideo di jëfandikoo ay mébet yu ñuy saytu seen bopp. Gëstukat yi dañuy push lu ëpp pexe yu wuute yi ci pexe maske-prediction ci gis-gis ak pexe distillation seen bopp yu soxlawul misaal yu baaxul. Kom done yu am etiketu kalite yu kawe nekkaatnañu ay jafe jafe, jang ay jumtukaay yu am njariñ ci ay dex yu yaatu yu amul etiketu dina des ci pexe bu mag bi ngir yokk IA.
Doxal ci àdduna dëgg
BERT jàng làkk ci xam kàddu yuñ maskeer, ba noppi ñu defar ko bu baax ngir seetlu, yëg-yëg, wala tontu laaj
SimCLR dafay njëkka tàggat ab encodeur nataal ci kaw nataal yu amul etiketu suko defee mu mëna xaaj ci etiket yu néew
GPT-style models di jàng bind di baamtu di wax luy waaja am ci token bi ci topp ci biir corpora text yu mag
Modèlu kàddu yiñ njëkka tàggat ci audio bu amul etiket (di wax luy waaja am ci wàllu son yuñ maske) balaa ñu leen di méngale ak transkripsioŋ
Risk yi ak balustrade yi
Ekip yu bari mën nañu jëfandikoo benn baat ci anam wu wuute, kon teela leeral yaatuwaayam.
Benchmark yi mën nañu nuru lu am doole waaye performance yi ci àdduna bi duñu tolloo.
Bëgg kalite done ak palaŋu jàngat dafay faral di jur njariñ yu yomba dagg.
Roadmap ngir samp gi
Tàmbaleel ci joxe leeral ci làkk wu leer ci njariñ li nga soxla.
Tannal benn metric bu baax ak benn anam bu baaxul balaa ngay saytu.
Doxal ab pilote bu ndaw ak ay done yu representatif, du ab demo bu leer.
Bindal barab yi jàng bu ñuy saytu sa bopp di jàppale ak barab yi gëna yomba jëfandikoo.
Weyal di banneexu
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Gis bi ci topp
Jàng buñ yor
Laaj yi ñuy faral di laaj
What is Self-Supervised Learning?
Jàngat bi ñuy saytu sa bopp dafay tàggat ay model ci done yuñ amul etiket ci sos liggéey bu tontu bi nëbbu ci biir done yi ci seen bopp. Mooy anam wi lakk ak gis-gis bu bees bi di jàngee ci internet bu ñor bi te amul ay larme nit ñuy etikete.
Lan moo waral jàng 'di saytu sa bopp'?
Jàngat bi ñuy saytu seen bopp dafay sos liggéey buy nëbb tontu bi ci done yi, kon soxlawul etiketu nit.
Lan moo waral njàngum bopp di saytu am solo lool ci xeetu fondasioŋ yi?
Ndax siñaalu surveillance bi mingi joge ci done yi ci boppam, mën nañu njëkka tàggat model yi ci corpus yu mag yu amul etiket ci web bi.
Ginaaw ñu tàggatee seen bopp, lan mooy faral di am?
Pretraining dafay tabax représentations générales yuy toxal bu baax, kon file-tuning bu woyof ci done yuñ etikete rek lañu soxla ci ay liggéey yuñ tànn.
Lan moo wuutale liggéey bi nit ñi di saytu seen bopp ci xeetu GPT ak liggéeyu BERT?
Modèle yu nuroo ak GPT dañu leen tàggat ngir ñu mëna wax luy waaja am ci token yi ci topp ci benn yoon, fekk BERT dafay wax luy waaja am ci token yu maske yi di jëfandikoo contexte cammoy ak ndijoor yépp.