Technický PRŮVODCE

Aktivační řízení a reprezentační inženýrství

Řízení aktivace mění chování jazykového modelu úpravou jeho vnitřních aktivací, když běží, obvykle přidáním směrového vektoru spojeného s konceptem, jako je čestnost, sentiment nebo odmítnutí.

Poslechněte si tento návodAI-vyprávěný · ~8 min

Na této stránce9 min čtení
  1. Přehled
  2. Klíčové věci
  3. Hluboký ponor
  4. Vytvoření a testování vektoru řízení sentimentu
  5. Real-World Implementace
  6. Budoucnost aktivačního řízení a reprezentačního inženýrství
  7. Uvedení do praxe
  8. Zdroje a další čtení
  9. Pokračujte v objevování
  10. Často kladené otázky

Přehled

Reprezentační inženýrství je širší výzkumný program, pojmenovaný v dokumentu z roku 2023, jehož cílem je najít takové směry, přečíst je a použít je ke sledování nebo řízení modelů bez přeškolování.

Klíčové věci

  1. Řízení aktivace přidá nebo odebere směr v interních aktivacích modelu v době odvození, aby se změnilo chování bez přeškolování.
  2. Řídící vektory jsou obvykle sestaveny z rozdílu v aktivacích mezi kontrastními výzvami, zprůměrovány nebo sumarizovány pomocí PCA.
  3. Inference-Time Intervention zvýšil pravdivost alpaky TruthfulQA z 32,5 % na 65,1 % posunutím několika hlav pozornosti.
  4. Bylo zjištěno, že odmítnutí ve 13 modelech otevřeného chatu závisí na jednom směru, který lze odstranit a obejít tak bezpečnostní školení.
  5. Silnější řízení často snižuje užitečnost nebo plynulost, takže každý vektor potřebuje pečlivé vyladění a vyhodnocení.

Hluboký ponor

Inside a transformer language model, every token is represented at every layer by a long list of numbers called an activation vector. The running sum of these vectors that each layer reads from and writes to is called the residual stream. Researchers have found that many human-meaningful properties, such as positive versus negative sentiment, truthfulness or whether the model is about to refuse, correspond to directions in that vector space. Activation steering exploits this: by adding or removing a direction during the forward pass, the computation that produces each token, it shifts the model's behavior while leaving its weights untouched. Representation engineering (RepE) is the name Andy Zou and 20 coauthors gave in October 2023 to the broader approach of studying and controlling models through these population-level representations rather than through individual neurons or circuits.

The basic recipe has three steps. First, write contrasting inputs that differ mainly in the property of interest, for example a prompt about love and one about hate, or honest and dishonest answers to the same question. Second, run them through the model and record activations at a chosen layer. Third, turn the differences into a single direction, either by taking the mean difference or by finding the main axis of variation with principal component analysis (PCA). To steer, add that vector, multiplied by a strength coefficient, to the activations at that layer while the model generates text. To read, take the dot product of a new activation with the vector to score how much of the property is present.

The idea took shape in a burst of papers in 2023. Alexander Matt Turner and colleagues introduced Activation Addition (ActAdd) in August 2023, computing a steering vector from a single prompt pair such as Love versus Hate and reporting state-of-the-art results for shifting sentiment from negative to positive and for detoxification, without any optimization. Kenneth Li and colleagues' Inference-Time Intervention (ITI), a NeurIPS 2023 spotlight, found truthfulness-related directions in a limited set of attention heads using a few hundred examples and raised Alpaca's TruthfulQA truthfulness from 32.5% to 65.1%. The RepE paper followed in October 2023 with a method it calls Linear Artificial Tomography, which applies PCA to differences between paired stimuli, and applied it to honesty, harmlessness and power-seeking. In December 2023, Contrastive Activation Addition (CAA) by Nina Panickssery and colleagues averaged activation differences over many multiple-choice examples to steer Llama 2 Chat and reported that it worked alongside fine-tuning and system prompts with minimal loss of capability.

Two results in 2024 widened public attention. Anthropic's interpretability team used features extracted from Claude 3 Sonnet, described in its Scaling Monosemanticity work, and on May 23, 2024 released Golden Gate Claude, a demo in which one bridge-related feature was turned up so strongly that the model described itself as the bridge. In June 2024, Andy Arditi and colleagues showed that refusal in 13 open chat models is mediated by one direction: removing it made models comply with harmful requests, and adding it made them refuse harmless ones. They used this as a white-box jailbreak and argued that current safety fine-tuning is brittle.

Steering sits alongside more familiar controls. Prompting and system prompts are cheap and need no model access but can be ignored or overridden. Fine-tuning and reinforcement learning from human feedback change weights permanently and need more data and compute; ITI's authors contrast their few hundred examples with the extensive annotation RLHF requires. Steering needs access to the model's internals, so it applies to open-weight models or to developers of closed ones, but it is cheap, reversible and adjustable at inference time. The RepE paper compared several control methods for honesty on Llama-2-Chat: a per-input contrast vector raised 13B accuracy on TruthfulQA multiple choice from 35.9% to 54.0%, outperforming ActAdd and a fixed reading vector, while a fine-tuning variant called LoRRA reached 47.5%.

The method has real failure modes. Strength is a balancing act: ITI's authors report that stronger intervention reduces helpfulness, and Anthropic described Golden Gate Claude as prone to unexpected and even jarring behavior. A direction found from a few prompt pairs may capture something other than the intended concept, such as wording or length, and a vector that works at one layer may do nothing or harm fluency at another. Results on multiple-choice benchmarks do not always carry over to open-ended generation. The same tools also cut both ways: the refusal-direction work shows that anyone with access to an open model's weights can remove a safety behavior with a simple edit.

In practice, steering requires reading and writing a model's activations, which open-source tooling supports for open-weight models through forward hooks in frameworks such as PyTorch. The compute cost is small: recording activations for tens to hundreds of contrast examples, computing a mean or PCA, and adding one vector per token at inference. The larger cost is evaluation, since every vector, layer and coefficient needs testing on held-out tasks to confirm the intended effect and to check for side effects on capability, fluency and safety.

04Zpracovaný příklad

Vytvoření a testování vektoru řízení sentimentu

  1. Vyberte malý model s otevřenou váhou, který můžete spustit lokálně, a vyberte střední vrstvu, například vrstvu 6 12vrstvého modelu.

  2. Napište 20 párů krátkých vět, které se liší pouze sentimentem, například „Film byl úžasný“ a „Film byl hrozný“.

  3. Pomocí předního háčku zaznamenejte aktivaci zbytkového proudu u posledního žetonu každé věty ve zvolené vrstvě.

  4. Zprůměrujte kladné – záporné – záporné rozdíly, abyste získali řídicí vektor v.

  5. Vygenerujte pokračování neutrální výzvy, například „Šel jsem do parku a“ bez řízení, poté s přidaným v při síle 2, 4 a 8.

  6. Ohodnoťte každé pokračování pomocí běžně dostupného klasifikátoru sentimentu a poznamenejte si, kde se text opakuje nebo je negramatický.

  7. Opakujte s odečtením v, abyste potvrdili, že se efekt obrátil.

Co ukazuje

Student skončí s opakovaně použitelným směrem a malou tabulkou skóre sentimentu proti síle řízení. Pracovní vektor by měl zvýšit pozitivní sentiment, když se síla zvýší, a snížit ji, když se odečte, přičemž plynulost se rozpadne při nějaké vysoké síle, která označuje použitelný rozsah.

Real-World Implementace

Golden Gate Claude od Claude, výzkumné demo vydané 23. května 2024 po dobu asi 24 hodin, zesílilo jednu vnitřní funkci sonetu Claude 3 navázaného na Golden Gate Bridge, takže model nasměroval většinu odpovědí směrem k mostu.

Inference-Time Intervention, dokument NeurIPS 2023, posunul aktivace v malém počtu hlav pozornosti a zvýšil pravdivostní skóre pravdivosti modelu Alpaca založeného na LLaMA z 32,5 % na 65,1 %.

Kontrastivní aktivační přidání řídí Llama 2 Chat tím, že zprůměruje aktivační rozdíly mezi pozitivními a negativními příklady chování, jako jsou faktické versus halucinační odpovědi, a poté přidá tento vektor s vybranou silou.

Arditi a kolegové v roce 2024 zjistili, že odmítnutí ve 13 modelech chatu s otevřeným zdrojovým kódem až do 72 miliard parametrů je zprostředkováno jediným směrem, který mohou výzkumníci odstranit, aby odmítli zastavit nebo přidat, aby je způsobili.

Dokument Representation Engineering uvádí, že přidání kontrastního vektoru pro poctivost zvedlo přesnost vícenásobné volby Llama-2-13B-Chat z 35,9 % na 54,0 %.

Budoucnost aktivačního řízení a reprezentačního inženýrství

Výzkum se posouvá od jednoduchých ručně vytvořených vektorů k funkcím získaným v měřítku. Demo Golden Gate Claude Claude v květnu 2024 využívalo funkci, kterou objevila jeho práce Scaling Monosemanticity na Claude 3 Sonnet, a Anthropic uvedl, že stejné techniky by jednoho dne mohly upravit bezpečnostní funkce spojené s nebezpečným kódem, kriminální činností nebo podvodem. Zda je řízení založené na vlastnostech přesnější a spolehlivější než vektory rozdílu průměrů, je otevřená empirická otázka. Druhým směrem je sledování. Dokument RepE (2023) zarámoval vektory čtení jako způsob, jak odhalit stavy, jako je nepoctivost, a autoři ITI (2023) navrhli, že modely mohou interně sledovat, zda jsou tvrzení pravdivá, i když jsou jejich výstupy nepravdivé. Přeměna takových sond na spolehlivé monitory by vyžadovala důkaz, že se zobecňují napříč výzvami, jazyky a modely. Obrázek zabezpečení je smíšený. Arditi a kolegové (2024) ukázali, že jeden směr ovládá odmítnutí u 13 otevřených modelů, což usnadňuje odstranění bezpečnostního chování v otevřených závažích. Mezi otevřené problémy patří řízení bez zhoršení schopností, automatická volba vrstev a sil, kombinování několika vektorů bez interference a bezpečnost budovy, která nezávisí na jednom křehkém směru.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Zdroje a další čtení

  1. arXivReprezentační inženýrství: Přístup shora dolů k transparentnosti AI
  2. arXivŘídící jazykové modely s aktivačním inženýrstvím
  3. arXivŘízení Llama 2 prostřednictvím přidání kontrastní aktivace
  4. arXiv (NeurIPS 2023)Inference-časová intervence: Získávání pravdivých odpovědí z jazykového modelu
  5. arXivOdmítnutí v jazykových modelech je zprostředkováno jedním směrem
  6. AnthropicGolden Gate Claude

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Projděte si kvíz Aktivační řízení a reprezentační inženýrství

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je aktivační řízení a reprezentační inženýrství?

Řízení aktivace mění chování jazykového modelu úpravou jeho vnitřních aktivací, když běží, obvykle přidáním směrového vektoru spojeného s konceptem, jako je čestnost, sentiment nebo odmítnutí. Reprezentační inženýrství je širší výzkumný program, pojmenovaný v dokumentu z roku 2023, jehož cílem je najít takové směry, přečíst je a použít je ke sledování nebo řízení modelů bez přeškolování.

V jakém okamžiku provozu modelu zasahuje aktivační řízení?

Řízení přidává nebo odečítá vektory v aktivacích modelu během inference, takže není potřeba žádné přeškolování a efekt je okamžitý.

Jak se běžně počítá vektor řízení?

Typickým receptem je rozdíl mezi prostředky: průměrné aktivace pro jedno chování mínus druhé, aby se izoloval směr tohoto konceptu.

Která hypotéza je základem toho, proč aktivační řízení funguje?

Řízení spoléhá na koncepty zakódované jako přibližně lineární směry, takže přidání vektoru posune příslušný prvek.

Co řídí koeficient změny velikosti vektoru řízení?

Násobení vektoru větším koeficientem tlačí chování tvrději; záporný koeficient tlačí opačným směrem.

Jaké je známé riziko příliš agresivního řízení modelu?

Velké zásahy mohou vytlačit aktivace z normálního potrubí modelu, což poškodí plynulost a uvažování, i když se změní cílové chování.