āļ„āļđāđˆāļĄāļ·āļ­āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„

āļāļēāļĢāļ•āļĩāļ„āļ§āļēāļĄāđ€āļŠāļīāļ‡āļāļĨāđ„āļ

Mechanistic interpretability studies internal model components and circuits to form hypotheses about computation.

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~1 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 1 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāļ•āļĩāļ„āļ§āļēāļĄāđ€āļŠāļīāļ‡āļāļĨāđ„āļ
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

Findings are empirical and may be specific to a model, task, and intervention.

āđ€āļˆāļēāļ°āļĨāļķāļ

Researchers analyze neurons, attention heads, features, and circuits to explain model behavior. Superposition is a hypothesis that networks may represent more features than dimensions by sharing directions; it is not a complete explanation of polysemanticity. Sparse autoencoders can produce interpretable candidate features in some experiments, but features are not guaranteed to be monosemantic or causally complete. A causal intervention can test a hypothesis in a specific setup, but does not establish robust model control or reliable detection of deceptive behavior.

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

Trace a hypothesized circuit on controlled inputs.

Compare feature activations across prompts.

Intervene on an activation and measure output changes in a defined setting.

Report limitations and alternative interpretations.

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāļ•āļĩāļ„āļ§āļēāļĄāđ€āļŠāļīāļ‡āļāļĨāđ„āļ

Methods for studying internal representations are advancing. Treat proposed circuits and safety applications as scoped research findings; do not imply that interpretability guarantees steering or deception detection.

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ”āđ‰āļēāļ™āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļ‡āļēāļ™āđ€āļ›āđ‡āļ™āđ€āļ§āļĨāļēāļŦāļĨāļēāļĒāļ›āļĩ
  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļāļēāļĢāļĻāļķāļāļĐāļēāļ”āđ‰āļēāļ™āđ€āļ—āļ„āļ™āļīāļ„āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ—āļĩāļĄāđ€āļĨāļ·āļ­āļāļāļĨāļļāđˆāļĄāļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄ āđ„āļĄāđˆāđƒāļŠāđˆāđāļ„āđˆāļāļĨāļļāđˆāļĄāđƒāļŦāļĄāđˆāļĨāđˆāļēāļŠāļļāļ”
  • āļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļ„āļļāļ“āļ āļēāļž. āļ•āļąāļ§āđ€āļĨāļ·āļ­āļāļ—āļēāļ‡āļ§āļīāļĻāļ§āļāļĢāļĢāļĄāļ—āļĩāđˆāļ”āļĩāļāļ§āđˆāļēāļˆāļ°āļŠāđˆāļ§āļĒāļĨāļ”āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ™āđˆāļēāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđƒāļ™āļāļēāļĢāļœāļĨāļīāļ•

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āļ‹āđˆāļ­āļ™āļˆāļļāļ”āļ­āđˆāļ­āļ™āļ‚āļ­āļ‡āļĢāļ°āļšāļšāđƒāļ™āļ§āļ‡āļāļ§āđ‰āļēāļ‡āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡āļžāļ·āđ‰āļ™āļāļēāļ™āđāļĨāļ°āļāļēāļĢāļšāļģāļĢāļļāļ‡āļĢāļąāļāļĐāļēāļĄāļąāļāļ–āļđāļāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ•āđˆāļģāđ„āļ›
  • āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ›āļĨāļ­āļ”āļ āļąāļĒāđāļĨāļ°āļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ™āļāļēāļĢāļŠāļąāļ‡āđ€āļāļ•āļŠāļēāļĄāļēāļĢāļ–āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļĢāļ°āļšāļšāļĄāļĩāļ„āļ§āļēāļĄāļ‹āļąāļšāļ‹āđ‰āļ­āļ™āļĄāļēāļāļ‚āļķāđ‰āļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāđ€āļ§āļĨāļēāđāļāļ‡ āļ„āļļāļ“āļ āļēāļž āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāđˆāļ­āļ™āļ™āļģāđ„āļ›āđƒāļŠāđ‰āļ‡āļēāļ™
  2. āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ āļēāļĒāđƒāļ•āđ‰āļŠāļ āļēāļ§āļ°āđ‚āļŦāļĨāļ”āđāļĨāļ°āļ‚āđ‰āļ­āļĄāļđāļĨāļˆāļĢāļīāļ‡
  3. āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļ·āđˆāļ­āļŦāļēāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” āļāļēāļĢāđ€āļšāļĩāđˆāļĒāļ‡āđ€āļšāļ™ āđāļĨāļ°āļœāļĨāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļœāļđāđ‰āđƒāļŠāđ‰
  4. āđ€āļ•āļĢāļĩāļĒāļĄāđ€āļŠāđ‰āļ™āļ—āļēāļ‡āļāļēāļĢāļĒāđ‰āļ­āļ™āļāļĨāļąāļšāđāļĨāļ°āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ•āđˆāļ­āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļāđˆāļ­āļ™āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Mechanistic Interpretability quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļāļēāļĢāļ•āļĩāļ„āļ§āļēāļĄāđ€āļŠāļīāļ‡āļāļĨāđ„āļāļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

Mechanistic interpretability studies internal model components and circuits to form hypotheses about computation. Findings are empirical and may be specific to a model, task, and intervention.

āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāļŦāļĨāļąāļāļ‚āļ­āļ‡āļāļēāļĢāļ•āļĩāļ„āļ§āļēāļĄāđ€āļŠāļīāļ‡āļāļĨāđ„āļāļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

āļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ™āļāļēāļĢāļ•āļĩāļ„āļ§āļēāļĄāđ€āļŠāļīāļ‡āļāļĨāđ„āļāļĄāļĩāļˆāļļāļ”āļĄāļļāđˆāļ‡āļŦāļĄāļēāļĒāđ€āļžāļ·āđˆāļ­āļ—āļģāļ„āļ§āļēāļĄāđ€āļ‚āđ‰āļēāđƒāļˆāļ­āļąāļĨāļāļ­āļĢāļīāļ˜āļķāļĄāļˆāļĢāļīāļ‡āļ—āļĩāđˆāđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļ™āļģāđ„āļ›āđƒāļŠāđ‰āļ āļēāļĒāđƒāļ™ āđ„āļĄāđˆāđƒāļŠāđˆāđāļ„āđˆāļ„āļ§āļēāļĄāļŠāļąāļĄāļžāļąāļ™āļ˜āđŒāļĢāļ°āļŦāļ§āđˆāļēāļ‡āļ­āļīāļ™āļžāļļāļ•āđāļĨāļ°āđ€āļ­āļēāļ•āđŒāļžāļļāļ•

'āļāļēāļĢāļ‹āđ‰āļ­āļ™āļ—āļąāļš' āļŦāļĄāļēāļĒāļ–āļķāļ‡āļ­āļ°āđ„āļĢāđƒāļ™āđ‚āļ„āļĢāļ‡āļ‚āđˆāļēāļĒāļ›āļĢāļ°āļŠāļēāļ—āđ€āļ—āļĩāļĒāļĄ

āļāļēāļĢāļ‹āđ‰āļ­āļ™āļ—āļąāļšāļŠāđˆāļ§āļĒāđƒāļŦāđ‰āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāđ€āļ‚āđ‰āļēāļĢāļŦāļąāļŠāđāļ™āļ§āļ„āļīāļ”āđ„āļ”āđ‰āļĄāļēāļāļāļ§āđˆāļēāļ—āļĩāđˆāļĄāļĩāđ€āļ‹āļĨāļĨāđŒāļ›āļĢāļ°āļŠāļēāļ—/āļĄāļīāļ•āļīāđ‚āļ”āļĒāļāļēāļĢāļˆāļąāļ”āđ€āļāđ‡āļšāđ„āļ§āđ‰āđ€āļ›āđ‡āļ™āļ—āļīāļĻāļ—āļēāļ‡āļ—āļĩāđˆāļ—āļąāļšāļ‹āđ‰āļ­āļ™āļāļąāļ™āđ€āļāļ·āļ­āļšāļ•āļąāđ‰āļ‡āļ‰āļēāļ āļ—āļģāđƒāļŦāđ‰āđ€āļāļīāļ”āđ€āļ‹āļĨāļĨāđŒāļ›āļĢāļ°āļŠāļēāļ—āđāļšāļšāđ‚āļžāļĨāļĩāđ€āļ‹āđāļĄāļ™āļ•āļīāļ

'āļŦāļąāļ§āđ€āļŦāļ™āļĩāđˆāļĒāļ§āļ™āļģ' āļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

āļŦāļąāļ§āđ€āļŦāļ™āļĩāđˆāļĒāļ§āļ™āļģāļˆāļ°āļ•āļĢāļ§āļˆāļˆāļąāļšāđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļ—āļĩāđˆāđ€āļāļīāļ”āļ‚āļķāđ‰āļ™āļāđˆāļ­āļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ‚āļ­āļ‡āđ‚āļ—āđ€āļ„āđ‡āļ™āļ›āļąāļˆāļˆāļļāļšāļąāļ™ āđāļĨāļ°āļ„āļąāļ”āļĨāļ­āļāļŠāļīāđˆāļ‡āļ—āļĩāđˆāļ•āļēāļĄāļĄāļē āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āļāļĨāđ„āļāļŠāļģāļ„āļąāļāļ—āļĩāđˆāļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļŠāļēāļĄāļēāļĢāļ–āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđƒāļ™āļšāļĢāļīāļšāļ—āđ„āļ”āđ‰

āļ™āļąāļāļ§āļīāļˆāļąāļĒāļĒāļ·āļ™āļĒāļąāļ™āđ„āļ”āđ‰āļ­āļĒāđˆāļēāļ‡āđ„āļĢāļ§āđˆāļēāļ§āļ‡āļˆāļĢāļ—āļĩāđˆāļ„āđ‰āļ™āļžāļšāļ—āļģāļāļēāļĢāļ„āļģāļ™āļ§āļ“āļ•āļēāļĄāļŠāļĄāļĄāļ•āļīāļāļēāļ™āļ­āļĒāđˆāļēāļ‡āđāļ—āđ‰āļˆāļĢāļīāļ‡

āļ§āļīāļ˜āļĩāļāļēāļĢāđ€āļŠāļīāļ‡āļŠāļēāđ€āļŦāļ•āļļ āđ€āļŠāđˆāļ™ āļāļēāļĢāđ€āļ›āļīāļ”āđƒāļŠāđ‰āļ‡āļēāļ™āđāļžāļ•āļŠāđŒāļŦāļĢāļ·āļ­āļāļēāļĢāļ—āļ”āļŠāļ­āļšāļāļēāļĢāļĢāļ°āđ€āļŦāļĒāļ§āđˆāļēāļāļēāļĢāđ€āļ›āļĨāļĩāđˆāļĒāļ™āđāļ›āļĨāļ‡āļŠāđˆāļ§āļ™āļ›āļĢāļ°āļāļ­āļšāļˆāļ°āđ€āļ›āļĨāļĩāđˆāļĒāļ™āļžāļĪāļ•āļīāļāļĢāļĢāļĄāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡āļˆāļĢāļīāļ‡āļŦāļĢāļ·āļ­āđ„āļĄāđˆ āđ‚āļ”āļĒāļ•āļĢāļ§āļˆāļŠāļ­āļšāļšāļ—āļšāļēāļ—āļ‚āļ­āļ‡āļŠāđˆāļ§āļ™āļ›āļĢāļ°āļāļ­āļšāļ™āļąāđ‰āļ™

What is a cautious safety-related reason to study mechanistic interpretability?

Mechanistic interpretability may help researchers investigate internal computations, but the guide cautions that it is not yet a complete audit method or a guarantee of direct control.

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļ•āļąāļ§āđ€āļ‚āđ‰āļēāļĢāļŦāļąāļŠāļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāđāļšāļšāļāļĢāļ°āļˆāļąāļ”āļāļĢāļ°āļˆāļēāļĒāđ€āļžāļ·āđˆāļ­āļāļēāļĢāļ•āļĩāļ„āļ§āļēāļĄ

āđ€āļ—āļ„āļ™āļīāļ„

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →