Lentille Logit et Lentille Tune
Lens logit ak lens tuned ay pexem tekki lañu yuy xool ci anam yu nëbbu yi ci transformateur bi layer par layer ngir xam li model bi di 'xalaat' balaa muy joxe tontu bu mujj.
Résumé
They reveal how a prediction gradually forms as information flows up through the network.
Plongeur bu xóot
Transformateur dafay tabax tontu am ci anam wuy yokk: couche bu nekk dafay yokk ci 'résidu stream' buy daw, te ci njeexte gi rek lañuy soppi ci baat probabilite. Lens logit bi, nostalgebraist dugal ko ci 2020, dafay gaaw ci jëfandikoo model bi mujjee génne (ak norm layer) ci diggante layer yi, suko defee nga mëna jàng li gëna baax ci reso bi ci xóotaayu bepp. Loolu dafay faral di wane tontu bi di kristalise ci diggu-ba-mujj layers. Lens biñ akorde (Belrose ak ay naataango, 2023) dafay gëna baaxal ci tàggat ab sonde affine bu ndaw ci couche bu nekk ngir tekki stade yu nëbbu yi ci base bu mujj bi, defar njuumte ak njuumte yi lens logit bu ñor bi di dundu, rawatina ci couche yu njëkk yi ak ci famiy model yu wuute.
Gis-gis xarala
Ñari xeeti xam-xam yooyu dañuy jëfandikoo gis-gis bi des ci stream bi: layer bu nekk dafay bind coppite yuy yokk ci vecteur buñ bokk bi matrix bi amul benn projet di projecte ci logits vocabulaire. Lens logit bi dafay jëfandikoowaat unembedding bi ci diggu etaa yi te amul benn tàggat bu gëna mag. Lu moy loolu lens biñ akorde dafay jàng kàrt ligneer bu couche bu nekk ('tekkikat' buñ jàng) suko defee etaa bu couche bu nekk soppiku ci formaa bi couche bu mujj bi di xaar, loolu mooy joxe xam-xam bu gëna nooy, gëna gëm te gëna néew jaaxle.
njeextalu pexe
Njëgg ak budget
Dogal yi architecture di jël dañuy indi njariñ ak njëgu liggéey bi ay at ci ginaaw.
dogal yu gëna leer
Njàngalem xarala yi dafay jàppale ekip yi ñu tànn li gën, te baña yam ci li gëna bees daal.
Xool kalite
Tanneef yu gëna baax ci wàllu ingeñër dina wàññi jafe-jafe yi ci wàllu wóor ci liggéey bi.
Ëlëgu Lens Logit ak Lens Tuned
Pexem lens yi ñu ngi nekk lu ñuy jëfandikoo ngir toppu naka la mbir yi, bañ yi, wala tëddee yi di feeñee ci xóotaayu, ak ngir xam su model bi teelee 'xam' tontu. Xaarandi leen boole ci autoencoder yu néew ak patch causal ngir joge ci joxe leeral ci waxtaan yi dem ci joxe leeral ci mekaniism yi. Gëstu yi dañuy saytu itam ndax li ñuy jàng ci diggante yi dañuy wane xam-xam bu nëbbu wala njuuj njaaj bu benn model nëbb ci génneem gu mujj gi, moo tax lens yi dañuy nekk bànxaasu tabax buñ mëna jëfandikoo ngir saytu kaaraange ak saytu bu teel.
Doxal ci àdduna dëgg
Jëfandikoo logit lens ngir seetaan tontu bu dëggu bu melni kapitaal bu feeñ ci diggu model bi
Jëfandikoo lens biñ akorde ngir méngale ni famiy model yu wuute yi di daje ci benn waxtaan ci xóotaayu
Gis ni ab model defa 'dogal' ci biir ab tontu ay diisaay yu bari balaa muy genni
Saytu diisaay yi nga xamni token yu am loraange wala yu jaarul yoon ñu ngi njëkka am doole ci residual stream bi
Risk yi ak balustrade yi
Optimize benn benchmark mën na nëbb ñakk kattan yu gëna yaatu ci sistem bi.
Njëg li ñuy fay ci infrastructure yi ak ci toppatoo dañuy faral di suufeel.
Bu sistem yi di gëna xawa jafee xam, jafe-jafe yi am ci wàllu kaaraange ak seetlu mën nañu gëna bari.
Roadmap ngir samp gi
Mandargal latency, kalite, ak njëg yi laata ngay jëfandikoo.
Benchmark ci biir sargal ak done yu dëggu.
Jumtukaay bi di saytu njuumte yi, derive bi ak njeextalu jëfandikukat bi.
Waajal rollback ak yooni tontu ci jafe-jafe yi laata ngay eskale.
Weyal di banneexu
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Logit Lens and Tuned Lens quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Gis bi ci topp
Lens Logit ak decodage couche intermédiaire
Laaj yi ñuy faral di laaj
What is Logit Lens and Tuned Lens?
Lens logit ak lens tuned ay pexem tekki lañu yuy xool ci anam yu nëbbu yi ci transformateur bi layer par layer ngir xam li model bi di 'xalaat' balaa muy joxe tontu bu mujj. Dañuy wane ni ñuy waxee luy am ndànk-ndànk lu xibaar bi di jaar ci reso bi.
Lu lens logit di def?
Lens logit bi dafay wane diggante residual-stream réew yi jaaraleko ci unembedding bi fi nekk ngir gis jetons yiñ séentu ci model bi ci xóotaayu bu nekk.
Ban yokkute bu am solo la lens biñ akorde yokk ci lens logit bu ñor bi?
Lens biñ akorde mingi jàng tekkikatu ligneer ci couche bu nekk, di jubbanti ay jaar-jaar ak joxe liñ jàng bu gëna dëggu, gëna néew jaaxle, moo gën lens logit bu ñor bi.
Lan mooy tax lens yooyu mëna am ci transformateur yi?
Bépp couche dafay bind ay yeesali yokk ci benn stream residuel buñ bokk, kon projection stream boobu teelna jege ab prediction bu digg.
Kan moo njëkka dugal lens logit bi, ak kañ la?
Lens logit bi nostalgebraist moo ko dugal ci benn xëtu blog ci 2020 di jàngat li GPT-2 wax luy waaja am ci digg bi.
Fan la lens logit bi di faral di wane tontu bu mujj bi 'crystallizing'?
Liggéeyukaay yi dañuy wane token bu dëggu biy am probabilite ci diggu-ba-mujj layers yi ginaaw bi xayma yi di gëna yokk.