Up tókànItọsọna atẹle
Logit lẹnsi ati Agbedemeji Layer Yiyan
Èdè AI
Imọ Itọsọna
Logit lẹnsi ati Aifwy lẹnsi
Lẹnsi logit ati awọn lẹnsi aifwy jẹ awọn imọ-ẹrọ itumọ ti o yoju si Layer awọn ipinlẹ ti o farapamọ transformer nipasẹ Layer lati wo kini awoṣe naa jẹ 'ero' ṣaaju ki o to gbejade idahun ikẹhin.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Wọn ṣafihan bii asọtẹlẹ kan ṣe n dagba diẹ sii bi alaye ti n ṣan soke nipasẹ nẹtiwọọki naa.
Jin Dive
Oluyipada kan ṣe agbero idahun rẹ ni afikun: Layer kọọkan ṣafikun si ‘san omi aloku’ ti nṣiṣẹ ti o yipada si awọn iṣeeṣe ọrọ nikan ni ipari. Awọn lẹnsi logit, ti a ṣe nipasẹ nostalgebraist ni ọdun 2020, awọn ọna abuja eyi nipa lilo aiṣedeede ipari awoṣe (ati iwuwasi Layer) taara si awọn ipele agbedemeji, nitorinaa o le ka amoro ti nẹtiwọọki ti o dara julọ ni gbogbo ijinle. Eyi nigbagbogbo n ṣe afihan idahun kiristali ni awọn ipele aarin-si-pẹ. Awọn lẹnsi aifwy (Belrose ati awọn ẹlẹgbẹ, 2023) ṣe ilọsiwaju lori rẹ nipa ikẹkọ ikẹkọ affine kekere kan fun Layer lati tumọ awọn ipinlẹ ti o farapamọ sinu ipilẹ ikẹhin, titọ aiṣedeede ati aipe awọn lẹnsi logit aise jiya, ni pataki ni awọn ipele ibẹrẹ ati kọja awọn idile awoṣe oriṣiriṣi.
Real-World imuse
Lilo awọn lẹnsi logit lati wo idahun otitọ kan bi olu-ilu ti o farahan ni awọn ipele agbedemeji awoṣe
Lilo awọn lẹnsi aifwy lati ṣe afiwe bii awọn idile awoṣe ti o yatọ ṣe pejọ lori asọtẹlẹ kan kọja ijinle
Ṣiṣawari pe awoṣe kan ti ‘pinnu’ ni inu inu idahun awọn fẹlẹfẹlẹ pupọ ṣaaju iṣelọpọ
Ṣiṣayẹwo awọn ipele nibiti ipalara tabi awọn asọtẹlẹ ami aiṣedeede ti kọkọ di akopo ninu ṣiṣan to ku
Ọjọ iwaju ti Lẹnsi Logit ati Awọn lẹnsi Aifwy
Awọn imọ-ẹrọ lẹnsi n di idiwọn fun wiwa bi awọn ododo, awọn aigba, tabi awọn aiṣedeede ṣe farahan kọja ijinle, ati fun iranran nigbati awoṣe kan 'mọ' idahun ni kutukutu. Reti wọn ni idapo pẹlu awọn adarọ-ese autoencoders ati patching fa lati gbe lati ṣapejuwe awọn asọtẹlẹ si ṣiṣe alaye awọn ilana. Iwadi tun n ṣe iwadii boya awọn kika agbedemeji ṣe afihan imọ wiwakọ tabi ẹtan awoṣe kan fi pamọ ninu iṣelọpọ ikẹhin rẹ, ṣiṣe awọn lẹnsi di idina ile oludije fun awọn iṣayẹwo ailewu ati ibojuwo ikilọ ni kutukutu.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Logit Lens and Tuned Lens quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Lẹnsi Logit ati Awọn lẹnsi Aifwy?
Lẹnsi logit ati awọn lẹnsi aifwy jẹ awọn imọ-ẹrọ itumọ ti o yoju si Layer awọn ipinlẹ ti o farapamọ transformer nipasẹ Layer lati wo kini awoṣe naa jẹ 'ero' ṣaaju ki o to gbejade idahun ikẹhin. Wọn ṣafihan bii asọtẹlẹ kan ṣe n dagba diẹ sii bi alaye ti n ṣan soke nipasẹ nẹtiwọọki naa.
Kini lẹnsi logit ṣe?
Awọn lẹnsi logit ṣe iṣẹ akanṣe agbedemeji aloku-san awọn ipinlẹ nipasẹ aibikita ti o wa tẹlẹ lati rii awọn ami asọtẹlẹ awoṣe ni ijinle kọọkan.
Ilọsiwaju bọtini wo ni lẹnsi aifwy ṣafikun lori lẹnsi logit aise?
Lẹnsi aifwy kọ ẹkọ onitumọ laini-Layer kan, n ṣatunṣe awọn aiṣedeede ati fifun ni otitọ diẹ sii, awọn kika idamu kekere ju lẹnsi logit aise lọ.
Ohun ti be ni Ayirapada mu ki awọn wọnyi tojú ṣee?
Layer kọọkan n kọ awọn imudojuiwọn afikun si ṣiṣan aloku ti o pin, nitorinaa ṣiṣapẹrẹ ti ṣiṣan ni kutukutu isunmọ asọtẹlẹ agbedemeji.
Tani o ṣafihan lẹnsi logit atilẹba, ati ni aijọju nigbawo?
Lẹnsi logit naa jẹ ifilọlẹ nipasẹ nostalgebraist ni ifiweranṣẹ bulọọgi 2020 kan ti n ṣe itupalẹ awọn asọtẹlẹ agbedemeji GPT-2.
Nibo ni lẹnsi logit nigbagbogbo ṣe afihan idahun ikẹhin 'crystallizing'?
Awọn kika ni igbagbogbo ṣafihan ami-ami ti o pe ni anfani iṣeeṣe kọja aarin-si-pẹ fẹlẹfẹlẹ bi iṣiro ṣe n ṣajọpọ.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii