MWONGOZO wa Kiufundi

Lenzi ya Logit na Lenzi Iliyorekebishwa

Lenzi ya kumbukumbu na lenzi iliyopangwa ni mbinu za kutafsiri ambazo hutazama safu ya majimbo yaliyofichwa ya kibadilishaji kwa safu ili kuona ni nini mfano "unafikiria" kabla ya kutoa jibu la mwisho.

Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min

Katika ukurasa huudk 2 kusoma
  1. Muhtasari
  2. Dive ya kina
  3. Utekelezaji wa Ulimwengu Halisi
  4. Mustakabali wa Lenzi ya Lojiti na Lenzi Iliyopangwa
  5. Kuiweka katika vitendo
  6. Endelea Kuchunguza
  7. Maswali yanayoulizwa mara kwa mara

Muhtasari

Zinafichua jinsi utabiri unavyotokea polepole habari inapopita kwenye mtandao.

Dive ya kina

Transfoma huunda jibu lake kwa kuongezeka: kila safu inaongeza kwa 'mtiririko wa mabaki' ambao hubadilishwa tu kuwa uwezekano wa maneno mwishoni kabisa. Lenzi ya kumbukumbu, iliyoletwa na nostalgebraist mnamo 2020, mikato hii kwa kutumia upachikaji wa mwisho wa modeli (na kawaida ya safu) moja kwa moja kwenye tabaka za kati, ili uweze kusoma ubashiri bora wa mtandao kwa kila kina. Hii mara nyingi huonyesha jibu likiwaka katika tabaka za kati hadi marehemu. Lenzi iliyoratibiwa (Belrose na wenzake, 2023) huiboresha kwa kufunza uchunguzi mdogo wa uhusiano kwa kila safu ili kutafsiri hali zilizofichwa hadi msingi wa mwisho, kurekebisha upendeleo na usahihi wa lenzi ya kumbukumbu mbichi inayoteseka, haswa katika safu za mapema na katika familia tofauti za mfano.

Utekelezaji wa Ulimwengu Halisi

Kwa kutumia lenzi ya kumbukumbu ili kutazama jibu la kweli kama vile jiji kuu linalojitokeza katika tabaka za kati za modeli

Utumiaji wa lenzi iliyosogezwa ili kulinganisha jinsi familia za mifano tofauti huungana kwenye ubashiri kwa kina

Kugundua kuwa modeli "imeamua" ndani ya jibu tabaka kadhaa kabla ya matokeo

Utambuzi wa tabaka ambapo utabiri wa tokeni wenye madhara au wenye upendeleo hutawala kwanza katika mkondo uliobaki.

Mustakabali wa Lenzi ya Lojiti na Lenzi Iliyopangwa

Mbinu za lenzi zinazidi kuwa kawaida katika kufuatilia jinsi ukweli, kukataliwa, au upendeleo hujitokeza kwa kina, na kugundua wakati mwanamitindo 'anapojua' jibu mapema. Yatarajie pamoja na visimbaji kiotomatiki chache na uwekaji viraka vya sababu viondoke kutoka kuelezea utabiri hadi mifumo ya kufafanua. Utafiti pia unachunguza ikiwa usomaji wa kati unaonyesha maarifa fiche au udanganyifu ambao mtindo huficha katika matokeo yake ya mwisho, na kufanya lenzi kuwa mhimili wa ujenzi wa ukaguzi wa usalama na ufuatiliaji wa tahadhari mapema.

Kuiweka katika vitendo

Kwa nini ni muhimu

  • Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
  • Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
  • Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.

Jihadharini na

  • Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
  • Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
  • Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.

Hatua zinazofuata

  1. Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
  2. Benchmark chini ya mzigo halisi na hali ya data.
  3. Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
  4. Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.

Endelea Kuchunguza

Jarida halali

Pata taarifa ya kila siku ya AI

Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.

Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.

Jijaribu mwenyewe

Take the Logit Lens and Tuned Lens quiz

Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.

Anza chemsha bongo

Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango

Maswali yanayoulizwa mara kwa mara

Je, Lenzi ya Logit na Lenzi Iliyopangwa ni nini?

Lenzi ya kumbukumbu na lenzi iliyopangwa ni mbinu za kutafsiri ambazo hutazama safu ya majimbo yaliyofichwa ya kibadilishaji kwa safu ili kuona ni nini mfano "unafikiria" kabla ya kutoa jibu la mwisho. Zinafichua jinsi utabiri unavyotokea hatua kwa hatua habari inapopita kwenye mtandao.

Je, lenzi ya kumbukumbu hufanya nini?

Lenzi ya kumbukumbu hutengeneza majimbo ya kati ya mtiririko wa mabaki kupitia upachikaji uliopo ili kuona tokeni zilizotabiriwa za modeli katika kila kina.

Je, lenzi iliyosomwa huongeza uboreshaji gani juu ya lenzi mbichi ya kumbukumbu?

Lenzi iliyosawazishwa hujifunza mfasiri wa mstari kwa kila safu, kusahihisha upendeleo na kutoa usomaji wa kuaminika zaidi, wa kutatanisha kuliko lenzi ghafi ya kumbukumbu.

Je, ni muundo gani katika transfoma hufanya lenses hizi ziwezekane?

Kila safu huandika masasisho ya nyongeza kwa mtiririko ulioshirikiwa, kwa hivyo kukadiria mtiririko huo mapema kukadiria utabiri wa kati.

Nani alianzisha lenzi asili ya kumbukumbu, na takriban lini?

Lenzi ya kumbukumbu ilianzishwa na nostalgebraist katika chapisho la blogu la 2020 linalochambua utabiri wa kati wa GPT-2.

Je, lenzi ya kumbukumbu mara nyingi huonyesha wapi jibu la mwisho 'linaangaza'?

Masomo kwa kawaida huonyesha tokeni sahihi kupata uwezekano kati ya tabaka za kati hadi marehemu kadiri hesabu inavyojikusanya.