Gids-gekoppelde quiz · Moeilijk Niveau
Mechanistische interpreteerbaarheidsquiz
Ontdek hoe onderzoekers de interne onderdelen van neurale netwerken onderzoeken met circuits, functies en interventies, terwijl ze de huidige grenzen in het oog houden.
Vraag 1 van 8
Wat is het centrale doel van mechanistische interpreteerbaarheid?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het centrale doel van mechanistische interpreteerbaarheid?
- Het reverse-engineeren van de interne berekeningen van een netwerk in voor mensen begrijpelijke algoritmen
- Om modellen sneller te laten trainen
- Om modellen voor mobiele apparaten te comprimeren
- Om invoerfuncties alleen op belangrijkheid te rangschikken
- Waarnaar verwijst 'superpositie' in een neuraal netwerk?
- Veel modellen op elkaar stapelen
- Representeert meer objecten dan er dimensies zijn door overlappende richtingen te gebruiken
- Een model uitvoeren op meerdere GPU's
- Het middelen van voorspellingen van verschillende runs
- Schaarse auto-encoders worden bij mechanistische interpreteerbaarheid voornamelijk gebruikt om ...
- Genereer trainingsgegevens
- Versnel de gevolgtrekking
- Ontwar polysemantische activaties in schonere, beter interpreteerbare kenmerken
- Versleutel modelgewichten
- Wat zijn 'inductiekoppen'?
- Hardwareversnellers voor transformatoren
- Uitvoerlagen die tekst genereren
- Een soort verliesfunctie
- Let op hoofden die herhaalde tokenpatronen kopiëren en voortzetten, ter ondersteuning van in-context leren
- Hoe bevestigen onderzoekers dat een ontdekt circuit werkelijk een veronderstelde berekening uitvoert?
- Via causale interventies zoals het wegnemen of patchen van specifieke activaties
- Door de trainingsnauwkeurigheid van het model te controleren
- Door het aantal parameters te tellen
- Door de inferentielatentie te meten
- What is a cautious safety-related reason to study mechanistic interpretability?
- It proves every hidden behavior can already be found
- It may provide evidence about internal computations, while current methods are not a complete audit or direct steering guarantee
- It guarantees a model will follow any requested correction
- It replaces evaluations of model behavior in deployment
- If a sparse autoencoder feature activates on examples described as “Golden Gate Bridge,” what does that observation establish?
- The entire model’s computation is now explained
- The feature is guaranteed to be a single neuron
- A candidate feature correlates with those examples and needs further testing to establish its role
- The feature causes every bridge-related output
- Why test a candidate feature across varied prompts and examples?
- Proof that the model has no other relevant circuits
- A guarantee that the explanation generalizes to every prompt
- A replacement for inspecting model behavior
- To check whether the observed activation pattern generalizes beyond selected examples