Kujifunza kwa Muktadha
Kujifunza katika muktadha ni uwezo wa kushangaza wa miundo mikubwa ya lugha kuchukua kazi mpya kutoka kwa mifano michache iliyowekwa kwenye dodoso, bila kujizoeza tena.
Muhtasari
It is the reason you can 'teach' a model on the fly just by showing it what you want.
Dive ya kina
Kwa kawaida, kufundisha mtandao wa neva kazi mpya kunamaanisha kusasisha uzani wake kupitia mafunzo. Kujifunza ndani ya muktadha ni tofauti: unaandika mifano michache moja kwa moja kwenye dodoso ('muktadha'), na kielelezo kinapuuza muundo huo na kuutumia kwenye ingizo jipya. Hakuna kitu ndani ya mfano kinachobadilika; mifano inaelekeza utabiri wa ishara inayofuata. Utasikia 'ziro-risasi' (maelekezo pekee), 'risasi moja' (mfano mmoja), na 'risasi chache' (mifano kadhaa). Tabia hii ilienezwa na GPT-3 mnamo 2020 na ikawa uwezo unaoibuka: wanamitindo wadogo hawawezi kuifanya, lakini siku za nyuma takribani kipimo cha vigezo vya bilioni 100, usahihi wa vidokezo vya risasi chache hupanda sana. Muundo huo ulijifunza kutambua na kuendeleza ruwaza wakati wa mafunzo ya awali, kwa hivyo inaweza kutumia tena ujuzi huo kwa wakati wa makisio.
Ufahamu wa Kiufundi
Utafiti wa kutafsiri ulifuatilia sehemu kubwa ya uwezo huu wa 'vichwa vya utangulizi' - mizunguko ya umakini ambayo hujitokeza wakati wa mafunzo na kutekeleza ulinganishaji wa kiambishi awali usioeleweka: wao huchanganua nyuma ili kujua mahali ambapo ishara kama hiyo ilionekana, kisha kunakili kilichoifuata. Kwa hivyo kidokezo chako kinapoonyesha 'apple -> matunda, karoti -> mboga', kielelezo kinalingana na muundo na kutabiri lebo sahihi ya bidhaa inayofuata. Kwa kweli, hakuna mtiririko wa gradient na hakuna sasisho la uzani kwa uelekezaji. Mifano kwa urahisi huunda upya uanzishaji unaolisha usambazaji wa uwezekano wa ishara inayofuata.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Kujifunza Katika Muktadha
Kupanua madirisha ya muktadha (sasa mamia ya maelfu ya tokeni) husukuma kujifunza katika muktadha kuelekea taratibu za 'picha nyingi', ambapo mifano kadhaa au mamia inaweza kushindana na urekebishaji mzuri kwa baadhi ya kazi, bila gharama ya mafunzo. Tarajia muunganisho mkali zaidi na urejeshaji, kwa hivyo mifano inayofaa inachukuliwa kiotomatiki, na nadharia bora zaidi wakati ujifunzaji wa ndani-muktadha utashindwa au kutatizwa. Itabaki kuwa njia ya haraka, nafuu ya kurekebisha mtindo, inayosaidia - bila kuchukua nafasi - urekebishaji mzuri kwa kazi thabiti, za kiwango cha juu.
Utekelezaji wa Ulimwengu Halisi
Kutoa chatbot mifano mitatu ya tikiti za usaidizi na kategoria zake, kisha kuipanga kuainisha tikiti mpya kwa njia sawa
Inaonyesha muundo wa jozi mbili kabla/baada ya maandishi ya fujo yaliyobadilishwa kuwa JSON safi ili ibadilishe yaliyosalia.
Kubandika sampuli kadhaa za maelezo ya bidhaa katika sauti ya chapa yako ili mapya yalingane na mtindo huo
Kuonyesha shida ya neno la hesabu ilifanya kazi hatua kwa hatua ili mtindo huo usuluhishe shida zinazofanana na umbizo sawa la hoja.
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the In-Context Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Muktadha Windows
Maswali yanayoulizwa mara kwa mara
What is In-Context Learning?
Kujifunza katika muktadha ni uwezo wa kushangaza wa miundo mikubwa ya lugha kuchukua kazi mpya kutoka kwa mifano michache iliyowekwa kwenye dodoso, bila kujizoeza tena. Ndio sababu unaweza 'kufundisha' mfano kwenye nzi kwa kuionyesha tu kile unachotaka.
Ni mabadiliko gani ya kimsingi ndani ya modeli wakati wa ujifunzaji wa muktadha?
Kujifunza kwa muktadha hutokea kabisa kwa kukisia. Mifano katika muhtasari huunda uanzishaji wa modeli na utabiri wa ishara inayofuata, lakini hakuna uzani unaosasishwa.
Kwa nini kujifunza katika muktadha kunafafanuliwa kama uwezo wa 'dhahiri'?
Uwezo ni dhaifu au haupo katika mifano ndogo na hupanda kwa kasi mara moja mifano inafikia kiwango kikubwa sana, ndiyo sababu inaitwa kuibuka.
Ni utaratibu gani wa ndani unaohusishwa zaidi na ujifunzaji wa ndani-muktadha katika vibadilishaji umeme?
Kazi ya ukalimani ilitambua vichwa vya utangulizi - mizunguko ya umakini ambayo hupata ishara sawa ilionekana na kunakili kile kilichofuata - kama kichocheo kikuu cha kujifunza ndani ya muktadha.