VolgendeVolgende gids
Schaarse auto-encoders voor functie-extractie
Taal AI
Technische GIDS
Sparse autoencoders (SAE's) zijn een hulpmiddel dat de verwarde interne activeringen van een neuraal netwerk uit elkaar haalt in een veel grotere reeks schonere, door mensen interpreteerbare kenmerken.
Luister naar deze gidsAI-verteld · ~2 min
Ze zijn een van de leidende technieken om de 'black box' te openen en te zien welke concepten een model daadwerkelijk vertegenwoordigt.
Binnen een transformator mengt een enkele activeringsvector duizenden concepten tegelijk, waardoor het moeilijk te lezen is. Een spaarzame auto-encoder is een klein tweelaags netwerk dat is getraind om deze activeringen te reconstrueren via een brede verborgen laag, maar met een spaarzaamheidsstraf waardoor slechts een paar van de vele neuronen tegelijkertijd worden gedwongen te vuren. Vanwege die druk heeft elke verborgen eenheid de neiging zich te specialiseren in één concept, zoals 'vermeldingen van de Golden Gate Bridge' of 'Python-code'. In 2024 heeft Anthropic dit opgeschaald naar Claude 3 Sonnet, waarbij ongeveer 34 miljoen features werden geëxtraheerd, en OpenAI en DeepMind publiceerden parallel SAE-werk. Onderzoekers kunnen vervolgens een kenmerk omhoog of omlaag klemmen om causaal te testen wat het doet.
De 'Golden Gate Claude'-demo van Anthropic, waarbij het versterken van een enkele SAE-functie ervoor zorgde dat het model in elk antwoord obsessief naar de brug verwees
Het extraheren en labelen van ongeveer 34 miljoen functies uit Claude 3 Sonnet om concepten als sycophancy, codefouten en onveilig gedrag in kaart te brengen
Het vinden van veiligheidsrelevante functies zoals bedrog, vooringenomenheid of gevaarlijke inhoud die tijdens de implementatie kunnen worden gecontroleerd of gestuurd
Debuggen waarom een model invoer verkeerd classificeert door te inspecteren welke interpreteerbare functies bij een bepaalde prompt zijn geactiveerd
Verwacht dat SAE's zich zullen ontwikkelen van onderzoeksnieuwsgierigheid naar praktische auditing- en veiligheidstools, inclusief dashboards die functies labelen en misleidende of onveilige circuits detecteren. Openstaande problemen zijn onder meer 'feature splitsen' (één concept dat in vele wordt opgesplitst), ontbrekende features en de kosten van het trainen van SAE's op elke laag van grensmodellen. Nieuwere richtingen zoals crosscoders, transcoders en matryoshka SAE's zijn bedoeld om berekeningen over meerdere lagen en met meerdere granulariteiten tegelijk vast te leggen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Sparse autoencoders (SAE's) zijn een hulpmiddel dat de verwarde interne activeringen van een neuraal netwerk uit elkaar haalt in een veel grotere reeks schonere, door mensen interpreteerbare kenmerken. Ze zijn een van de leidende technieken om de 'black box' te openen en te zien welke concepten een model daadwerkelijk vertegenwoordigt.
SAE's reconstrueren activeringen via een brede, schaarse verborgen laag, zodat individuele eenheden de neiging hebben te corresponderen met afzonderlijke, voor mensen begrijpelijke concepten.
Sparsity encourages feature-selective activity but does not guarantee perfect one-neuron-per-concept representations.
Anthropic's 'Scaling Monosemanticity'-werk uit 2024, geëxtraheerd in de orde van 34 miljoen kenmerken uit een productiemodel.
Door het Golden Gate Bridge-kenmerk te versterken, lieten onderzoekers het model fixeren op de brug, waarbij werd aangetoond dat kenmerken causale hefbomen zijn en niet alleen maar labels.
Modellen verpakken veel concepten in beperkte afmetingen (superpositie); een overcomplete, brede SAE geeft elk concept de ruimte om zijn eigen eenheid te bezetten.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Schaarse auto-encoders voor functie-extractie
Taal AI