Gids-gekoppelde quiz · Moeilijk Niveau

Mechanistische interpreteerbaarheidsquiz

Ontdek hoe onderzoekers de interne onderdelen van neurale netwerken onderzoeken met circuits, functies en interventies, terwijl ze de huidige grenzen in het oog houden.

Vraag 1 van 8

Wat is het centrale doel van mechanistische interpreteerbaarheid?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het centrale doel van mechanistische interpreteerbaarheid?
    • Het reverse-engineeren van de interne berekeningen van een netwerk in voor mensen begrijpelijke algoritmen
    • Om modellen sneller te laten trainen
    • Om modellen voor mobiele apparaten te comprimeren
    • Om invoerfuncties alleen op belangrijkheid te rangschikken
  2. Waarnaar verwijst 'superpositie' in een neuraal netwerk?
    • Veel modellen op elkaar stapelen
    • Representeert meer objecten dan er dimensies zijn door overlappende richtingen te gebruiken
    • Een model uitvoeren op meerdere GPU's
    • Het middelen van voorspellingen van verschillende runs
  3. Schaarse auto-encoders worden bij mechanistische interpreteerbaarheid voornamelijk gebruikt om ...
    • Genereer trainingsgegevens
    • Versnel de gevolgtrekking
    • Ontwar polysemantische activaties in schonere, beter interpreteerbare kenmerken
    • Versleutel modelgewichten
  4. Wat zijn 'inductiekoppen'?
    • Hardwareversnellers voor transformatoren
    • Uitvoerlagen die tekst genereren
    • Een soort verliesfunctie
    • Let op hoofden die herhaalde tokenpatronen kopiëren en voortzetten, ter ondersteuning van in-context leren
  5. Hoe bevestigen onderzoekers dat een ontdekt circuit werkelijk een veronderstelde berekening uitvoert?
    • Via causale interventies zoals het wegnemen of patchen van specifieke activaties
    • Door de trainingsnauwkeurigheid van het model te controleren
    • Door het aantal parameters te tellen
    • Door de inferentielatentie te meten
  6. What is a cautious safety-related reason to study mechanistic interpretability?
    • It proves every hidden behavior can already be found
    • It may provide evidence about internal computations, while current methods are not a complete audit or direct steering guarantee
    • It guarantees a model will follow any requested correction
    • It replaces evaluations of model behavior in deployment
  7. If a sparse autoencoder feature activates on examples described as “Golden Gate Bridge,” what does that observation establish?
    • The entire model’s computation is now explained
    • The feature is guaranteed to be a single neuron
    • A candidate feature correlates with those examples and needs further testing to establish its role
    • The feature causes every bridge-related output
  8. Why test a candidate feature across varied prompts and examples?
    • Proof that the model has no other relevant circuits
    • A guarantee that the explanation generalizes to every prompt
    • A replacement for inspecting model behavior
    • To check whether the observed activation pattern generalizes beyond selected examples