Logit lẹnsi ati Aifwy lẹnsi
Lẹnsi logit ati awọn lẹnsi aifwy jẹ awọn imọ-ẹrọ itumọ ti o yoju si Layer awọn ipinlẹ ti o farapamọ transformer nipasẹ Layer lati wo kini awoṣe naa jẹ 'ero' ṣaaju ki o to gbejade idahun ikẹhin.
Akopọ
They reveal how a prediction gradually forms as information flows up through the network.
Jin Dive
Oluyipada kan ṣe agbero idahun rẹ ni afikun: Layer kọọkan ṣafikun si ‘san omi aloku’ ti nṣiṣẹ ti o yipada si awọn iṣeeṣe ọrọ nikan ni ipari. Awọn lẹnsi logit, ti a ṣe nipasẹ nostalgebraist ni ọdun 2020, awọn ọna abuja eyi nipa lilo aiṣedeede ipari awoṣe (ati iwuwasi Layer) taara si awọn ipele agbedemeji, nitorinaa o le ka amoro ti nẹtiwọọki ti o dara julọ ni gbogbo ijinle. Eyi nigbagbogbo n ṣe afihan idahun kiristali ni awọn ipele aarin-si-pẹ. Awọn lẹnsi aifwy (Belrose ati awọn ẹlẹgbẹ, 2023) ṣe ilọsiwaju lori rẹ nipa ikẹkọ ikẹkọ affine kekere kan fun Layer lati tumọ awọn ipinlẹ ti o farapamọ sinu ipilẹ ikẹhin, titọ aiṣedeede ati aipe awọn lẹnsi logit aise jiya, ni pataki ni awọn ipele ibẹrẹ ati kọja awọn idile awoṣe oriṣiriṣi.
Imọ-imọ-ẹrọ
Awọn ọna mejeeji lo nilokulo wiwo ṣiṣan ti o ku: gbogbo Layer kọ awọn imudojuiwọn afikun si fekito ti o pin ti matrix ti ko nii ṣe awọn iṣẹ akanṣe nigbamii si awọn logits fokabulari. Awọn lẹnsi logit tun lo iyẹn ni deede aibikita lori awọn ipinlẹ agbedemeji laisi ikẹkọ afikun. Lẹnsi aifwy dipo kọ ẹkọ maapu laini-Layer kan (“Otumọ” ti o kọ ẹkọ) nitorinaa ipo Layer kọọkan ti yipada si ọna kika ti Layer ikẹhin n reti, ti nso irọrun, awọn asọtẹlẹ olotitọ ati kekere-kekere.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Lẹnsi Logit ati Awọn lẹnsi Aifwy
Awọn imọ-ẹrọ lẹnsi n di idiwọn fun wiwa bi awọn ododo, awọn aigba, tabi awọn aiṣedeede ṣe farahan kọja ijinle, ati fun iranran nigbati awoṣe kan 'mọ' idahun ni kutukutu. Reti wọn ni idapo pẹlu awọn adarọ-ese autoencoders ati patching fa lati gbe lati ṣapejuwe awọn asọtẹlẹ si ṣiṣe alaye awọn ilana. Iwadi tun n ṣe iwadii boya awọn kika agbedemeji ṣe afihan imọ wiwakọ tabi ẹtan awoṣe kan fi pamọ ninu iṣelọpọ ikẹhin rẹ, ṣiṣe awọn lẹnsi di idina ile oludije fun awọn iṣayẹwo ailewu ati ibojuwo ikilọ ni kutukutu.
Real-World imuse
Lilo awọn lẹnsi logit lati wo idahun otitọ kan bi olu-ilu ti o farahan ni awọn ipele agbedemeji awoṣe
Lilo awọn lẹnsi aifwy lati ṣe afiwe bii awọn idile awoṣe ti o yatọ ṣe pejọ lori asọtẹlẹ kan kọja ijinle
Ṣiṣawari pe awoṣe kan ti ‘pinnu’ ni inu inu idahun awọn fẹlẹfẹlẹ pupọ ṣaaju iṣelọpọ
Ṣiṣayẹwo awọn ipele nibiti ipalara tabi awọn asọtẹlẹ ami aiṣedeede ti kọkọ di akopo ninu ṣiṣan to ku
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Logit Lens and Tuned Lens quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Logit lẹnsi ati Agbedemeji Layer Yiyan
Awọn ibeere ti a beere nigbagbogbo
What is Logit Lens and Tuned Lens?
Lẹnsi logit ati awọn lẹnsi aifwy jẹ awọn imọ-ẹrọ itumọ ti o yoju si Layer awọn ipinlẹ ti o farapamọ transformer nipasẹ Layer lati wo kini awoṣe naa jẹ 'ero' ṣaaju ki o to gbejade idahun ikẹhin. Wọn ṣafihan bii asọtẹlẹ kan ṣe n dagba diẹ sii bi alaye ti n ṣan soke nipasẹ nẹtiwọọki naa.
Kini lẹnsi logit ṣe?
Awọn lẹnsi logit ṣe iṣẹ akanṣe agbedemeji aloku-san awọn ipinlẹ nipasẹ aibikita ti o wa tẹlẹ lati rii awọn ami asọtẹlẹ awoṣe ni ijinle kọọkan.
Ilọsiwaju bọtini wo ni lẹnsi aifwy ṣafikun lori lẹnsi logit aise?
Lẹnsi aifwy kọ ẹkọ onitumọ laini-Layer kan, n ṣatunṣe awọn aiṣedeede ati fifun ni otitọ diẹ sii, awọn kika idamu kekere ju lẹnsi logit aise lọ.
Ohun ti be ni Ayirapada mu ki awọn wọnyi tojú ṣee?
Layer kọọkan n kọ awọn imudojuiwọn afikun si ṣiṣan aloku ti o pin, nitorinaa ṣiṣapẹrẹ ti ṣiṣan ni kutukutu isunmọ asọtẹlẹ agbedemeji.
Tani o ṣafihan lẹnsi logit atilẹba, ati ni aijọju nigbawo?
Lẹnsi logit naa jẹ ifilọlẹ nipasẹ nostalgebraist ni ifiweranṣẹ bulọọgi 2020 kan ti n ṣe itupalẹ awọn asọtẹlẹ agbedemeji GPT-2.
Nibo ni lẹnsi logit nigbagbogbo ṣe afihan idahun ikẹhin 'crystallizing'?
Awọn kika ni igbagbogbo ṣafihan ami-ami ti o pe ni anfani iṣeeṣe kọja aarin-si-pẹ fẹlẹfẹlẹ bi iṣiro ṣe n ṣajọpọ.