Ci bi mu melGis bi ci topp
Lens Logit ak decodage couche intermédiaire
IA làkk
GUIDE teknik
Lens logit ak lens tuned ay pexem tekki lañu yuy xool ci anam yu nëbbu yi ci transformateur bi layer par layer ngir xam li model bi di 'xalaat' balaa muy joxe tontu bu mujj.
Déglul tegtal biiIA-nettali · ~2 min
Dañuy wane ni ñuy waxee luy am ndànk-ndànk lu xibaar bi di jaar ci reso bi.
Transformateur dafay tabax tontu am ci anam wuy yokk: couche bu nekk dafay yokk ci 'résidu stream' buy daw, te ci njeexte gi rek lañuy soppi ci baat probabilite. Lens logit bi, nostalgebraist dugal ko ci 2020, dafay gaaw ci jëfandikoo model bi mujjee génne (ak norm layer) ci diggante layer yi, suko defee nga mëna jàng li gëna baax ci reso bi ci xóotaayu bepp. Loolu dafay faral di wane tontu bi di kristalise ci diggu-ba-mujj layers. Lens biñ akorde (Belrose ak ay naataango, 2023) dafay gëna baaxal ci tàggat ab sonde affine bu ndaw ci couche bu nekk ngir tekki stade yu nëbbu yi ci base bu mujj bi, defar njuumte ak njuumte yi lens logit bu ñor bi di dundu, rawatina ci couche yu njëkk yi ak ci famiy model yu wuute.
Jëfandikoo logit lens ngir seetaan tontu bu dëggu bu melni kapitaal bu feeñ ci diggu model bi
Jëfandikoo lens biñ akorde ngir méngale ni famiy model yu wuute yi di daje ci benn waxtaan ci xóotaayu
Gis ni ab model defa 'dogal' ci biir ab tontu ay diisaay yu bari balaa muy genni
Saytu diisaay yi nga xamni token yu am loraange wala yu jaarul yoon ñu ngi njëkka am doole ci residual stream bi
Pexem lens yi ñu ngi nekk lu ñuy jëfandikoo ngir toppu naka la mbir yi, bañ yi, wala tëddee yi di feeñee ci xóotaayu, ak ngir xam su model bi teelee 'xam' tontu. Xaarandi leen boole ci autoencoder yu néew ak patch causal ngir joge ci joxe leeral ci waxtaan yi dem ci joxe leeral ci mekaniism yi. Gëstu yi dañuy saytu itam ndax li ñuy jàng ci diggante yi dañuy wane xam-xam bu nëbbu wala njuuj njaaj bu benn model nëbb ci génneem gu mujj gi, moo tax lens yi dañuy nekk bànxaasu tabax buñ mëna jëfandikoo ngir saytu kaaraange ak saytu bu teel.
Bulletin bu amul fayda
Ñatti jaar-jaari IA yuñ firndeel bis bu nekk ci ayu-bis bi, ñu bind leen ci Àngle bu leer. Gratis ba fàww, amul yëgle.
Benn email bis bu nekk ci ayu-bis bi. Benn klik nga dindi abonemaa bi. Dunu musa jaay wala séddoo sa adres.
Nattal sa bopp
Feedback ci saasi ci bépp tontu, ak sertifikaa buñ mëna séddoo ak ID buñ mëna saytu soo jàllee ci njàng mi.
Jàppale njàngum IA te doo fay. AI Understanding mbootaay la buy def te Yàlla tax — amul yëgle, amul paywall, musul am. Defal ab sarax
Lens logit ak lens tuned ay pexem tekki lañu yuy xool ci anam yu nëbbu yi ci transformateur bi layer par layer ngir xam li model bi di 'xalaat' balaa muy joxe tontu bu mujj. Dañuy wane ni ñuy waxee luy am ndànk-ndànk lu xibaar bi di jaar ci reso bi.
Lens logit bi dafay wane diggante residual-stream réew yi jaaraleko ci unembedding bi fi nekk ngir gis jetons yiñ séentu ci model bi ci xóotaayu bu nekk.
Lens biñ akorde mingi jàng tekkikatu ligneer ci couche bu nekk, di jubbanti ay jaar-jaar ak joxe liñ jàng bu gëna dëggu, gëna néew jaaxle, moo gën lens logit bu ñor bi.
Bépp couche dafay bind ay yeesali yokk ci benn stream residuel buñ bokk, kon projection stream boobu teelna jege ab prediction bu digg.
Lens logit bi nostalgebraist moo ko dugal ci benn xëtu blog ci 2020 di jàngat li GPT-2 wax luy waaja am ci digg bi.
Liggéeyukaay yi dañuy wane token bu dëggu biy am probabilite ci diggu-ba-mujj layers yi ginaaw bi xayma yi di gëna yokk.
Weyal di jàng
Tann nañu yeneen njiit ngir topic bii
Ci bi mu melGis bi ci topp
Lens Logit ak decodage couche intermédiaire
IA làkk