DalšíDalší průvodce
Řídké automatické kodéry pro extrakci prvků
Jazyk AI
Technický PRŮVODCE
Sparse autoencoders (SAE) jsou nástrojem, který rozděluje zamotané vnitřní aktivace neuronové sítě do mnohem větší sady čistších, člověkem interpretovatelných funkcí.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Jsou jednou z předních technik, jak otevřít „černou skříňku“ a zjistit, jaké koncepty model ve skutečnosti představuje.
Uvnitř transformátoru se v jediném aktivačním vektoru mísí tisíce konceptů najednou, což ztěžuje čtení. Řídký autokodér je malá dvouvrstvá síť vycvičená k rekonstrukci těchto aktivací přes širokou skrytou vrstvu, ale s penalizací za řídkost, která nutí pouze několik z mnoha neuronů, aby vystřelily najednou. Kvůli tomuto tlaku má každá skrytá jednotka tendenci se specializovat na jeden koncept, jako jsou „zmínky o Golden Gate Bridge“ nebo „kód Pythonu“. V roce 2024 Anthropic toto škálovalo na Claude 3 Sonnet, přičemž získalo zhruba 34 milionů funkcí a OpenAI a DeepMind publikovaly paralelní práci SAE. Výzkumníci pak mohou sevřít funkci nahoru nebo dolů, aby kauzálně otestovali, co dělá.
Demo Anthropic 'Golden Gate Claude', kde zesílení jediné funkce SAE způsobilo, že model v každé odpovědi obsedantně odkazoval na most
Extrahování a označování zhruba 34 milionů prvků z Claude 3 Sonnet k mapování pojmů, jako je patolízalství, chyby v kódu a nebezpečné chování
Nalezení funkcí souvisejících s bezpečností, jako je klamání, zaujatost nebo nebezpečný obsah, které lze během nasazení monitorovat nebo řídit
Ladění, proč model nesprávně klasifikuje vstupy, tím, že kontroluje, které interpretovatelné funkce se aktivovaly na danou výzvu
Očekávejte, že SAE přejdou od výzkumné zvědavosti k praktickému auditu a bezpečnostním nástrojům, včetně řídicích panelů, které označují funkce a detekují klamavé nebo nebezpečné obvody. Mezi otevřené problémy patří „rozdělení funkcí“ (jeden koncept se rozpadá na mnoho), chybějící funkce a náklady na školení SAE na každé vrstvě hraničních modelů. Novější směry, jako jsou crosskodéry, transkodéry a matrjošky SAE, mají za cíl zachytit výpočty napříč vrstvami a s více granularitami najednou.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Sparse autoencoders (SAE) jsou nástrojem, který rozděluje zamotané vnitřní aktivace neuronové sítě do mnohem větší sady čistších, člověkem interpretovatelných funkcí. Jsou jednou z předních technik, jak otevřít „černou skříňku“ a zjistit, jaké koncepty model ve skutečnosti představuje.
SAE rekonstruují aktivace prostřednictvím široké, řídké skryté vrstvy, takže jednotlivé jednotky mají tendenci odpovídat jedinému člověku srozumitelným konceptům.
Sparity podporuje selektivní aktivitu, ale nezaručuje dokonalé reprezentace jednoho neuronu na koncept.
Práce Anthropic z roku 2024 „Scaling Monosemanticity“ extrahovala z produkčního modelu řádově 34 milionů prvků.
Zesílením funkce Golden Gate Bridge vědci zafixovali model na most a ukázali, že rysy jsou kauzální páky, nejen popisky.
Modely balí mnoho konceptů do omezených dimenzí (superpozice); překompletovaný, široký SAE dává každému konceptu prostor pro obsazení vlastní jednotky.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Řídké automatické kodéry pro extrakci prvků
Jazyk AI