DalšíDalší průvodce
Logit Lens a dekódování střední vrstvy
Jazyk AI
Technický PRŮVODCE
Logit čočka a laděná čočka jsou techniky interpretace, které nakouknou do skrytých stavů transformátoru vrstvu po vrstvě, aby viděli, co si model „myslí“, než vytvoří konečnou odpověď.
Poslechněte si tento návodAI-vyprávěný · ~2 min
They reveal how a prediction gradually forms as information flows up through the network.
Transformátor vytváří svou odpověď postupně: každá vrstva se přidává k běžícímu „zbytkovému toku“, který je až na samém konci přeměněn na pravděpodobnosti slov. Čočka logit, kterou nostalgebraist představila v roce 2020, to zkracuje tím, že aplikuje konečné neuložení modelu (a normu vrstvy) přímo na mezivrstvy, takže můžete číst nejlepší odhad sítě v každé hloubce. To často ukazuje, že odpověď krystalizuje ve středních až pozdních vrstvách. Vyladěná čočka (Belrose a kolegové, 2023) ji vylepšuje tím, že trénuje malou afinní sondu na vrstvu, aby převedla skryté stavy do konečného základu, opravila zkreslení a nepřesnosti, kterými trpí surová logitová čočka, zejména v raných vrstvách a napříč různými modelovými rodinami.
Pomocí objektivu logit můžete sledovat faktickou odpověď, jako by se hlavní město objevilo ve středních vrstvách modelu
Použití vyladěné čočky k porovnání toho, jak různé rodiny modelů konvergují k předpovědi napříč hloubkou
Detekce, že model interně „rozhodl“ odpověď několik vrstev před výstupem
Diagnostika vrstev, kde se škodlivé nebo zkreslené předpovědi tokenů nejprve stanou dominantními ve zbytkovém proudu
Techniky čoček se stávají standardem pro sledování toho, jak se v hloubce objevují fakta, odmítnutí nebo předsudky, a pro zjištění, kdy model „zná“ odpověď brzy. Očekávejte, že v kombinaci s řídkými autokodéry a kauzálním záplatováním přejdou od popisu předpovědí k vysvětlování mechanismů. Výzkum také zkoumá, zda průběžné údaje odhalují latentní znalosti nebo podvod, který model ve svém konečném výstupu skrývá, což činí z čoček kandidátský stavební kámen pro bezpečnostní audity a monitorování včasného varování.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Logit čočka a laděná čočka jsou techniky interpretace, které nakouknou do skrytých stavů transformátoru vrstvu po vrstvě, aby viděli, co si model „myslí“, než vytvoří konečnou odpověď. Odhalují, jak se předpověď postupně tvoří, jak informace proudí sítí nahoru.
Objektiv logit promítá přechodné stavy zbytkového proudu prostřednictvím stávajícího nezapuštění, aby viděl předpokládané tokeny modelu v každé hloubce.
Vyladěná čočka se učí lineární překladač pro jednotlivé vrstvy, koriguje zkreslení a poskytuje věrnější a méně perplexní čtení než surová logitová čočka.
Každá vrstva zapisuje aditivní aktualizace do sdíleného zbytkového toku, takže projekce tohoto toku včas se blíží mezilehlé predikci.
Logit čočku představil nostalgebraist v blogovém příspěvku z roku 2020, který analyzoval střední předpovědi GPT-2.
Odečty obvykle ukazují správnou pravděpodobnost získání tokenu ve středních až pozdních vrstvách, jak se hromadí výpočty.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Logit Lens a dekódování střední vrstvy
Jazyk AI