SeterusnyaPanduan seterusnya
Autoenkoder Jarang untuk Pengekstrakan Ciri
AI bahasa
PANDUAN Teknikal
Pengekod auto jarang (SAE) ialah alat yang memisahkan pengaktifan dalaman yang kusut bagi rangkaian saraf ke dalam set ciri yang lebih bersih dan boleh ditafsirkan oleh manusia.
Dengar panduan iniAI-diceritakan · ~2 min
Ia adalah salah satu teknik utama untuk membuka 'kotak hitam' dan melihat konsep yang sebenarnya diwakili oleh model.
Di dalam pengubah, satu vektor pengaktifan menggabungkan beribu-ribu konsep sekaligus, yang menjadikannya sukar untuk dibaca. Pengekod automatik jarang ialah rangkaian dua lapisan kecil yang dilatih untuk membina semula pengaktifan tersebut melalui lapisan tersembunyi yang luas, tetapi dengan penalti jarang memaksa hanya beberapa daripada banyak neuronnya menyala pada satu masa. Kerana tekanan itu, setiap unit tersembunyi cenderung untuk mengkhususkan diri dalam satu konsep, seperti 'menyebut Jambatan Golden Gate' atau 'Kod Python'. Pada tahun 2024 Anthropic menskalakan ini kepada Claude 3 Sonnet, mengekstrak kira-kira 34 juta ciri, dan OpenAI dan DeepMind menerbitkan karya SAE selari. Penyelidik kemudian boleh mengepit ciri ke atas atau ke bawah untuk menguji sebab ciri ciri tersebut.
Demo 'Golden Gate Claude' Anthropic, di mana menguatkan satu ciri SAE menjadikan model secara obsesif merujuk jambatan dalam setiap balasan
Mengekstrak dan melabelkan kira-kira 34 juta ciri daripada Claude 3 Sonet untuk memetakan konsep seperti sycophancy, ralat kod dan tingkah laku tidak selamat
Mencari ciri berkaitan keselamatan seperti penipuan, berat sebelah atau kandungan berbahaya yang boleh dipantau atau dikemudi semasa penggunaan
Menyahpepijat sebab model salah mengklasifikasikan input dengan memeriksa ciri yang boleh ditafsir yang diaktifkan pada gesaan yang diberikan
Jangkakan SAE untuk beralih daripada rasa ingin tahu penyelidikan ke arah pengauditan praktikal dan alatan keselamatan, termasuk papan pemuka yang melabelkan ciri dan mengesan litar yang mengelirukan atau tidak selamat. Masalah terbuka termasuk 'pemisahan ciri' (satu konsep pecah kepada banyak), ciri yang hilang dan kos latihan SAE pada setiap lapisan model sempadan. Arah yang lebih baharu seperti pengekod silang, transkoder dan SAE matryoshka bertujuan untuk menangkap pengiraan merentas lapisan dan pada butiran berbilang serentak.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Pengekod auto jarang (SAE) ialah alat yang memisahkan pengaktifan dalaman yang kusut bagi rangkaian saraf ke dalam set ciri yang lebih bersih dan boleh ditafsirkan oleh manusia. Ia adalah salah satu teknik utama untuk membuka 'kotak hitam' dan melihat konsep yang sebenarnya diwakili oleh model.
SAE membina semula pengaktifan melalui lapisan tersembunyi yang luas dan jarang supaya unit individu cenderung sepadan dengan konsep tunggal yang boleh difahami manusia.
Sparsity encourages feature-selective activity but does not guarantee perfect one-neuron-per-concept representations.
Kerja 'Scaling Monosemanticity' Anthropic 2024 diekstrak mengikut susunan 34 juta ciri daripada model pengeluaran.
Dengan menguatkan ciri Jambatan Golden Gate, penyelidik menjadikan model itu terpaku pada jambatan, menunjukkan ciri adalah tuas sebab, bukan hanya label.
Model membungkus banyak konsep ke dalam dimensi terhad (superposisi); SAE yang terlalu lengkap dan luas memberikan setiap bilik konsep untuk menduduki unitnya sendiri.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Autoenkoder Jarang untuk Pengekstrakan Ciri
AI bahasa