Lenzi ya Logit na Lenzi Iliyorekebishwa
Lenzi ya kumbukumbu na lenzi iliyopangwa ni mbinu za kutafsiri ambazo hutazama safu ya majimbo yaliyofichwa ya kibadilishaji kwa safu ili kuona ni nini mfano "unafikiria" kabla ya kutoa jibu la mwisho.
Muhtasari
They reveal how a prediction gradually forms as information flows up through the network.
Dive ya kina
Transfoma huunda jibu lake kwa kuongezeka: kila safu inaongeza kwa 'mtiririko wa mabaki' ambao hubadilishwa tu kuwa uwezekano wa maneno mwishoni kabisa. Lenzi ya kumbukumbu, iliyoletwa na nostalgebraist mnamo 2020, mikato hii kwa kutumia upachikaji wa mwisho wa modeli (na kawaida ya safu) moja kwa moja kwenye tabaka za kati, ili uweze kusoma ubashiri bora wa mtandao kwa kila kina. Hii mara nyingi huonyesha jibu likiwaka katika tabaka za kati hadi marehemu. Lenzi iliyoratibiwa (Belrose na wenzake, 2023) huiboresha kwa kufunza uchunguzi mdogo wa uhusiano kwa kila safu ili kutafsiri hali zilizofichwa hadi msingi wa mwisho, kurekebisha upendeleo na usahihi wa lenzi ya kumbukumbu mbichi inayoteseka, haswa katika safu za mapema na katika familia tofauti za mfano.
Ufahamu wa Kiufundi
Mbinu zote mbili hutumia mwonekano wa mabaki ya mtiririko: kila safu huandika masasisho ya nyongeza kwa vekta iliyoshirikiwa ambayo matriki ya kutopachika hutengeneza kumbukumbu za msamiati baadaye. Lenzi ya kumbukumbu hutumia tena upachikaji huo kamili kwenye majimbo ya kati bila mafunzo ya ziada. Lenzi iliyopangwa badala yake hujifunza ramani ya mstari kwa kila safu ('mtafsiri' aliyejifunza) ili hali ya kila safu ibadilishwe kuwa umbizo ambalo safu ya mwisho inatazamia, ikitoa utabiri laini, wa uaminifu zaidi na wa kutatanisha kidogo.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Lenzi ya Lojiti na Lenzi Iliyopangwa
Mbinu za lenzi zinazidi kuwa kawaida katika kufuatilia jinsi ukweli, kukataliwa, au upendeleo hujitokeza kwa kina, na kugundua wakati mwanamitindo 'anapojua' jibu mapema. Yatarajie pamoja na visimbaji kiotomatiki chache na uwekaji viraka vya sababu viondoke kutoka kuelezea utabiri hadi mifumo ya kufafanua. Utafiti pia unachunguza ikiwa usomaji wa kati unaonyesha maarifa fiche au udanganyifu ambao mtindo huficha katika matokeo yake ya mwisho, na kufanya lenzi kuwa mhimili wa ujenzi wa ukaguzi wa usalama na ufuatiliaji wa tahadhari mapema.
Utekelezaji wa Ulimwengu Halisi
Kwa kutumia lenzi ya kumbukumbu ili kutazama jibu la kweli kama vile jiji kuu linalojitokeza katika tabaka za kati za modeli
Utumiaji wa lenzi iliyosogezwa ili kulinganisha jinsi familia za mifano tofauti huungana kwenye ubashiri kwa kina
Kugundua kuwa modeli "imeamua" ndani ya jibu tabaka kadhaa kabla ya matokeo
Utambuzi wa tabaka ambapo utabiri wa tokeni wenye madhara au wenye upendeleo hutawala kwanza katika mkondo uliobaki.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Logit Lens and Tuned Lens quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Lenzi ya Logit na Usimbaji wa Tabaka la Kati
Maswali yanayoulizwa mara kwa mara
What is Logit Lens and Tuned Lens?
Lenzi ya kumbukumbu na lenzi iliyopangwa ni mbinu za kutafsiri ambazo hutazama safu ya majimbo yaliyofichwa ya kibadilishaji kwa safu ili kuona ni nini mfano "unafikiria" kabla ya kutoa jibu la mwisho. Zinafichua jinsi utabiri unavyotokea hatua kwa hatua habari inapopita kwenye mtandao.
Je, lenzi ya kumbukumbu hufanya nini?
Lenzi ya kumbukumbu hutengeneza majimbo ya kati ya mtiririko wa mabaki kupitia upachikaji uliopo ili kuona tokeni zilizotabiriwa za modeli katika kila kina.
Je, lenzi iliyosomwa huongeza uboreshaji gani juu ya lenzi mbichi ya kumbukumbu?
Lenzi iliyosawazishwa hujifunza mfasiri wa mstari kwa kila safu, kusahihisha upendeleo na kutoa usomaji wa kuaminika zaidi, wa kutatanisha kuliko lenzi ghafi ya kumbukumbu.
Je, ni muundo gani katika transfoma hufanya lenses hizi ziwezekane?
Kila safu huandika masasisho ya nyongeza kwa mtiririko ulioshirikiwa, kwa hivyo kukadiria mtiririko huo mapema kukadiria utabiri wa kati.
Nani alianzisha lenzi asili ya kumbukumbu, na takriban lini?
Lenzi ya kumbukumbu ilianzishwa na nostalgebraist katika chapisho la blogu la 2020 linalochambua utabiri wa kati wa GPT-2.
Je, lenzi ya kumbukumbu mara nyingi huonyesha wapi jibu la mwisho 'linaangaza'?
Masomo kwa kawaida huonyesha tokeni sahihi kupata uwezekano kati ya tabaka za kati hadi marehemu kadiri hesabu inavyojikusanya.