Lensa Logit dan Lensa yang Disetel
Lensa logit dan lensa yang disetel adalah teknik interpretasi yang mengintip keadaan tersembunyi transformator lapis demi lapis untuk melihat apa yang 'dipikirkan' oleh model sebelum menghasilkan jawaban akhir.
Ikhtisar
They reveal how a prediction gradually forms as information flows up through the network.
Menyelam Lebih Dalam
Sebuah transformator membangun jawabannya secara bertahap: setiap lapisan menambah 'aliran sisa' yang sedang berjalan yang hanya diubah menjadi probabilitas kata di bagian paling akhir. Lensa logit, yang diperkenalkan oleh nostalgebraist pada tahun 2020, mempersingkat hal ini dengan menerapkan pelepasan akhir model (dan norma lapisan) langsung ke lapisan perantara, sehingga Anda dapat membaca tebakan terbaik jaringan di setiap kedalaman. Hal ini sering kali menunjukkan jawaban yang mengkristal di lapisan menengah hingga akhir. Lensa yang disetel (Belrose dan rekannya, 2023) memperbaikinya dengan melatih probe affine kecil per lapisan untuk menerjemahkan keadaan tersembunyi ke dalam basis akhir, memperbaiki bias dan ketidakakuratan yang dialami lensa logit mentah, terutama pada lapisan awal dan di seluruh kelompok model yang berbeda.
Wawasan Teknis
Kedua metode mengeksploitasi tampilan aliran sisa: setiap lapisan menulis pembaruan aditif ke vektor bersama yang kemudian diproyeksikan oleh matriks yang tidak disematkan ke log kosakata. Lensa logit menggunakan kembali pelepasan yang tepat pada keadaan perantara tanpa pelatihan tambahan. Lensa yang disetel malah mempelajari peta linier per lapisan ('penerjemah' yang dipelajari) sehingga status setiap lapisan diubah ke dalam format yang diharapkan oleh lapisan akhir, sehingga menghasilkan prediksi yang lebih halus, lebih akurat, dan lebih sedikit kebingungan.
Dampak Strategis
Cost and budget
Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
Clearer decisions
Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
Quality control
Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Masa Depan Lensa Logit dan Lensa Tuned
Teknik lensa menjadi standar untuk menelusuri bagaimana fakta, penolakan, atau bias muncul secara mendalam, dan untuk mengetahui kapan model 'mengetahui' jawabannya sejak dini. Harapkan mereka dikombinasikan dengan autoencoder yang jarang dan patching kausal untuk beralih dari mendeskripsikan prediksi ke mekanisme penjelasan. Penelitian juga menyelidiki apakah pembacaan menengah mengungkapkan pengetahuan laten atau penipuan yang disembunyikan model dalam hasil akhirnya, menjadikan lensa sebagai kandidat landasan untuk audit keselamatan dan pemantauan peringatan dini.
Implementasi Dunia Nyata
Menggunakan lensa logit untuk melihat jawaban faktual seperti ibu kota yang muncul di lapisan tengah model
Menerapkan lensa yang disetel untuk membandingkan bagaimana kelompok model yang berbeda berkumpul pada prediksi secara mendalam
Mendeteksi bahwa suatu model telah 'memutuskan' jawaban secara internal beberapa lapisan sebelum keluaran
Mendiagnosis lapisan tempat prediksi token yang berbahaya atau bias pertama kali menjadi dominan dalam aliran sisa
Risiko & Pagar Pembatas
Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Peta Jalan Implementasi
Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
Tolok ukur dalam kondisi beban dan data yang realistis.
Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Logit Lens and Tuned Lens quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Lensa Logit dan Decoding Lapisan Menengah
Pertanyaan yang sering diajukan
What is Logit Lens and Tuned Lens?
Lensa logit dan lensa yang disetel adalah teknik interpretasi yang mengintip keadaan tersembunyi transformator lapis demi lapis untuk melihat apa yang 'dipikirkan' oleh model sebelum menghasilkan jawaban akhir. Mereka mengungkapkan bagaimana prediksi terbentuk secara bertahap seiring dengan mengalirnya informasi melalui jaringan.
Apa fungsi lensa logit?
Lensa logit memproyeksikan status aliran sisa perantara melalui pelepasan yang ada untuk melihat token prediksi model pada setiap kedalaman.
Peningkatan penting apa yang ditambahkan oleh lensa yang disetel dibandingkan lensa logit mentah?
Lensa yang disetel mempelajari penerjemah linier per lapisan, mengoreksi bias, dan memberikan pembacaan yang lebih akurat dan tingkat kebingungan yang lebih rendah dibandingkan lensa logit mentah.
Struktur transformator apa yang memungkinkan lensa ini?
Setiap lapisan menulis pembaruan aditif ke aliran sisa bersama, sehingga memproyeksikan aliran tersebut lebih awal mendekati prediksi perantara.
Siapa yang memperkenalkan lensa logit asli, dan kira-kira kapan?
Lensa logit diperkenalkan oleh ahli nostalgia dalam postingan blog tahun 2020 yang menganalisis prediksi perantara GPT-2.
Di manakah lensa logit sering menunjukkan jawaban akhir 'mengkristal'?
Pembacaan biasanya menunjukkan probabilitas perolehan token yang benar di seluruh lapisan menengah hingga akhir seiring dengan akumulasi komputasi.