Kujifunza kwa Kujisimamia
Mafunzo ya kujisimamia hufunza miundo kwenye data isiyo na lebo kwa kubuni kazi ambayo jibu lake limefichwa ndani ya data yenyewe.
Muhtasari
It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.
Dive ya kina
Kuweka data kwa mikono ni polepole na kwa gharama kubwa, lakini ulimwengu umejaa maandishi, picha, sauti na video zisizo na lebo. Kujifunza kwa kujidhibiti huifungua kwa kuunda 'kazi za kisingizio' ambapo data hutoa jibu lake. Mfano wa kawaida ni uundaji wa lugha uliofichwa, unaotumiwa na BERT: ficha baadhi ya maneno katika sentensi na ufunze kielelezo kutabiri kutoka kwa muktadha. Aina za mtindo wa GPT hutabiri neno linalofuata. Katika maono, mbinu tofauti kama SimCLR zinaonyesha kielelezo cha mazao mawili yaliyoongezwa ya picha moja na kuifundisha kuwa ni ya pamoja huku ikitenganisha picha tofauti. Kutatua mafumbo haya yaliyojitengenezea hulazimisha kielelezo kujenga uwakilishi wa ndani wa maana na muundo. Mawasilisho hayo kisha huhamishwa kwa nguvu hadi kwa kazi halisi za chini zilizo na data ndogo au isiyo na lebo.
Ufahamu wa Kiufundi
Ujanja ni kutoa ishara ya usimamizi bila malipo. Katika uundaji wa barakoa, ishara iliyofichwa ni lebo, kwa hivyo hasara inaweza kukokotwa bila maelezo yoyote ya kibinadamu. Katika ujifunzaji tofauti, nyongeza mbili za picha moja huunda 'jozi chanya' ambayo inapaswa kukaa karibu katika nafasi ya kupachika, huku taswira zingine 'zikiwa mbaya' zikisukumwa mbali. Vyovyote vile, muundo huo umeboreshwa kwenye lebo zinazotokana na muundo wa data yenyewe, na kujifunza vipengele vya jumla ambavyo baadaye vinahitaji urekebishaji mwepesi pekee.
Athari za kimkakati
Maamuzi ya wazi zaidi
Inakusaidia kutenganisha madai ya wazi ya kiufundi kutoka kwa lugha ya uuzaji.
Cost and budget
Unaweza kuuliza maswali ya utekelezaji bora kabla ya kutumia pesa au wakati.
Timu na mtiririko wa kazi
Timu zenye uelewa wa pamoja hufanya maamuzi bora ya bidhaa, sera na mafunzo.
Mustakabali wa Mafunzo ya Kujisimamia
Kujifunza kwa kujisimamia ni injini nyuma ya mifano ya msingi ya leo, na jukumu hilo litakua tu. Mwelekeo wa wazi ni kuelekea mafunzo ya awali ya aina nyingi, ambapo mtindo mmoja hujifunza kwa pamoja kutoka kwa maandishi, picha, sauti na video kwa kutumia malengo ya kujisimamia. Watafiti wanasukuma zaidi ya njia tofauti kuelekea mbinu za utabiri wa uso katika maono na mbinu za kujisafisha ambazo hazihitaji mifano hasi. Kadiri data iliyo na lebo ya ubora wa juu inavyokuwa kikwazo, kujifunza muundo muhimu moja kwa moja kutoka kwa mitiririko mikubwa isiyo na lebo kutasalia kuwa mkakati mkuu wa kuongeza AI.
Utekelezaji wa Ulimwengu Halisi
BERT kujifunza lugha kwa kutabiri maneno yaliyofichwa, kisha kusawazishwa kwa utafutaji, hisia, au kujibu maswali.
SimCLR inatayarisha kisimbaji picha kwenye picha zisizo na lebo ili baadaye iweze kuainisha na lebo chache sana.
Miundo ya mtindo wa GPT inajifunza kuandika kwa kutabiri mara kwa mara tokeni inayofuata kwenye shirika kubwa la maandishi
Miundo ya usemi iliyofunzwa awali kwenye sauti mbichi isiyo na lebo (kutabiri sehemu za sauti zilizofichwa) kabla ya kubadilishwa kuwa manukuu.
Hatari & Walinzi
Timu tofauti zinaweza kutumia neno moja tofauti, kwa hivyo fafanua upeo mapema.
Vigezo vinaweza kuonekana kuwa na nguvu ilhali utendakazi wa ulimwengu halisi haufanani.
Kupuuza ubora wa data na mipango ya tathmini mara nyingi huleta matokeo tete.
Ramani ya Utekelezaji
Anza na ufafanuzi wa lugha rahisi wa matokeo unayohitaji.
Chagua kipimo kimoja cha mafanikio na hali moja ya kutofaulu kabla ya kujaribu.
Tekeleza majaribio madogo yenye data wakilishi, si seti ya onyesho iliyoboreshwa.
Hati ambapo Mafunzo ya Kujisimamia husaidia na ambapo mbinu rahisi ni bora zaidi.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Mafunzo Yanayosimamiwa
Maswali yanayoulizwa mara kwa mara
What is Self-Supervised Learning?
Mafunzo ya kujisimamia hufunza miundo kwenye data isiyo na lebo kwa kubuni kazi ambayo jibu lake limefichwa ndani ya data yenyewe. Ni jinsi miundo ya kisasa ya lugha na msingi wa maono hujifunza kutoka kwa mtandao mbichi bila majeshi ya waweka lebo za kibinadamu.
Ni nini hufanya kujifunza 'kujidhibiti'?
Kujifunza kwa kujisimamia hubuni kazi ya kisingizio ambapo jibu limefichwa kwenye data, kwa hivyo hakuna uwekaji lebo wa kibinadamu unaohitajika.
Kwa nini kujifunza kwa kujisimamia ni muhimu sana kwa mifano ya msingi?
Kwa sababu mawimbi ya usimamizi hutoka kwa data yenyewe, miundo inaweza kufundishwa mapema kwenye shirika kubwa lisilo na lebo kutoka kwa wavuti.
Baada ya kujifunzia kabla ya kujidhibiti, ni nini kawaida hufanyika baadaye?
Maandalizi ya awali hujenga uwasilishaji wa jumla ambao huhamishwa vizuri, kwa hivyo urekebishaji mwepesi tu kwenye data iliyo na lebo inahitajika kwa kazi mahususi.
Je, kazi ya kujisimamia ya mtindo wa GPT inatofautiana vipi na ya BERT?
Miundo ya mtindo wa GPT imefunzwa kutabiri tokeni inayofuata katika mfuatano, huku BERT inatabiri tokeni zilizofichwa kwa kutumia muktadha wa kushoto na kulia.