LegközelebbKövetkező útmutató
Ritka automatikus kódolók a funkciók kinyeréséhez
Nyelvi AI
Műszaki ÚTMUTATÓ
A ritka autoencoderek (SAE) egy olyan eszköz, amely a neurális hálózat kusza belső aktiválásait egy sokkal nagyobb, tisztább, ember által értelmezhető funkciókká bontja szét.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ezek az egyik vezető technikák a „fekete doboz” kinyitásához és annak meglátásához, hogy egy modell valójában milyen fogalmakat képvisel.
A transzformátoron belül egyetlen aktiváló vektor több ezer fogalmat kever össze egyszerre, ami megnehezíti az olvasást. A ritka autoencoder egy kis, kétrétegű hálózat, amely arra van kiképezve, hogy egy széles, rejtett rétegen keresztül rekonstruálja ezeket az aktiválásokat, de ritkaság büntetéssel, amely egyszerre csak néhány neuronját kényszeríti a tüzelésre. Emiatt a nyomás miatt minden rejtett egység egy fogalomra specializálódik, mint például a „Golden Gate Bridge említése” vagy a „Python kód”. 2024-ben a Anthropic ezt Claude 3 szonettre méretezte, nagyjából 34 millió funkciót bontva ki, valamint a OpenAI és a DeepMind párhuzamos SAE-munkát tett közzé. A kutatók ezután felfelé vagy lefelé szoríthatják a funkciót, hogy ok-okozatilag teszteljék, mit csinál.
Anthropic 'Golden Gate Claude' demója, ahol egyetlen SAE funkció felerősítése miatt a modell megszállottan hivatkozott a hídra minden válaszában
Körülbelül 34 millió funkció kibontása és címkézése a Claude 3 Sonnetből az olyan fogalmak leképezésére, mint a szipofánia, a kódhibák és a nem biztonságos viselkedés
A biztonság szempontjából releváns funkciók, például megtévesztés, elfogultság vagy veszélyes tartalom megtalálása, amelyek figyelhetők vagy irányíthatók a telepítés során
Hibakeresés, hogy egy modell miért osztályozza rosszul a bemeneteket azáltal, hogy megvizsgálja, mely értelmezhető szolgáltatások aktiválódnak egy adott promptban
A SAE-k arra számíthatnak, hogy a kutatási kíváncsiságtól a gyakorlati auditálás és biztonsági eszközök felé mozdulnak el, beleértve a funkciókat címkéző és a megtévesztő vagy nem biztonságos áramköröket észlelő műszerfalakat. A nyitott problémák közé tartozik a „funkciók felosztása” (egy koncepció több részre oszlik), a hiányzó funkciók és a SAE-k képzésének költsége a határmodellek minden rétegén. Az újabb irányok, például a keresztkódolók, az átkódolók és a matryoshka SAE-k célja, hogy egyszerre több rétegben és több részletességgel rögzítsék a számításokat.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A ritka autoencoderek (SAE) egy olyan eszköz, amely a neurális hálózat kusza belső aktiválásait egy sokkal nagyobb, tisztább, ember által értelmezhető funkciókká bontja szét. Ezek az egyik vezető technikák a „fekete doboz” kinyitásához és annak meglátásához, hogy egy modell valójában milyen fogalmakat képvisel.
Az SAE-k az aktiválásokat egy széles, ritka rejtett rétegen keresztül rekonstruálják, így az egyes egységek általában egyetlen, emberileg érthető koncepciónak felelnek meg.
Sparsity encourages feature-selective activity but does not guarantee perfect one-neuron-per-concept representations.
A Anthropic 2024-es „Scaling Monosemanticity” munkája nagyságrendileg 34 millió funkciót von ki egy éles modellből.
A Golden Gate híd jellemzőjének felerősítésével a kutatók a modellt a hídra rögzítették, megmutatva, hogy a jellemzők oksági karok, nem csak címkék.
A modellek számos koncepciót korlátozott méretekbe csomagolnak (szuperpozíció); egy túlkomplett, széles SAE minden koncepciónak helyet ad a saját egység elfoglalására.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Ritka automatikus kódolók a funkciók kinyeréséhez
Nyelvi AI