Logit Lens ve Ayarlanmış Lens
Logit mercek ve ayarlanmış mercek, modelin nihai bir cevap üretmeden önce ne 'düşündüğünü' görmek için bir transformatörün gizli durumlarına katman katman göz atan yorumlanabilirlik teknikleridir.
Genel Bakış
They reveal how a prediction gradually forms as information flows up through the network.
Derin Dalış
Bir transformatör cevabını artımlı olarak oluşturur: her katman, yalnızca en sonunda sözcük olasılıklarına dönüştürülen, çalışan bir 'artık akışa' eklenir. Nostalgebraist tarafından 2020'de tanıtılan logit lens, modelin son yerleştirmeyi (ve katman normunu) doğrudan ara katmanlara uygulayarak bunu kısaltır, böylece ağın en iyi tahminini her derinlikte okuyabilirsiniz. Bu genellikle cevabın orta ve son katmanlarda kristalleştiğini gösterir. Ayarlanmış mercek (Belrose ve meslektaşları, 2023), gizli durumları nihai temele çevirmek için katman başına küçük bir afin probu eğiterek, özellikle erken katmanlarda ve farklı model aileleri arasında ham logit merceğin uğradığı önyargıyı ve yanlışlığı düzelterek bunu geliştirir.
Teknik Bilgi
Her iki yöntem de artık akış görünümünden yararlanır: her katman, gömülü olmayan matrisin daha sonra kelime logitlerine yansıttığı paylaşılan bir vektöre ek güncellemeler yazar. Logit lens, hiçbir ekstra eğitim gerektirmeden ara durumlardaki tam yerleştirmeyi yeniden kullanır. Ayarlanan mercek bunun yerine katman başına doğrusal bir harita (öğrenilmiş bir 'çevirici') öğrenir, böylece her katmanın durumu son katmanın beklediği formata dönüştürülür, böylece daha düzgün, daha güvenilir ve daha az karmaşık tahminler sağlanır.
Stratejik Etki
Maliyet ve bütçe
Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
Daha net kararlar
Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
Quality control
Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Logit Lens ve Ayarlanmış Lensin Geleceği
Mercek teknikleri, derinlikte gerçeklerin, reddetmelerin veya önyargıların nasıl ortaya çıktığını izlemek ve bir modelin bir cevabı erken 'bildiğini' tespit etmek için standart hale geliyor. Bunların, seyrek otomatik kodlayıcılar ve nedensel yamalamayla birleştirilerek tahminleri açıklamaktan mekanizmalarını açıklamaya geçmesini bekleyin. Araştırma aynı zamanda ara okumaların, bir modelin nihai çıktısında gizlediği gizli bilgiyi veya aldatmacayı ortaya çıkarıp çıkarmadığını da araştırıyor; bu da lensleri güvenlik denetimleri ve erken uyarı izleme için aday bir yapı taşı haline getiriyor.
Gerçek Dünya Uygulaması
Bir modelin orta katmanlarında başkent gibi gerçek bir cevabın ortaya çıkmasını izlemek için logit merceğini kullanma
Farklı model ailelerinin derinlik boyunca bir tahminde nasıl birleştiğini karşılaştırmak için ayarlanmış merceğin uygulanması
Bir modelin, çıktıdan birkaç katman önce dahili olarak bir cevaba 'karar verdiğini' tespit etmek
Artık akışta zararlı veya taraflı belirteç tahminlerinin ilk kez baskın hale geldiği katmanları teşhis etme
Riskler ve Korkuluklar
Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
Altyapı ve bakım maliyetleri genellikle hafife alınır.
Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Uygulama Yol Haritası
Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Logit Lens and Tuned Lens quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Logit Lens ve Ara Katman Kod Çözme
Sık sorulan sorular
What is Logit Lens and Tuned Lens?
Logit mercek ve ayarlanmış mercek, modelin nihai bir cevap üretmeden önce ne 'düşündüğünü' görmek için bir transformatörün gizli durumlarına katman katman göz atan yorumlanabilirlik teknikleridir. Bilgi ağ üzerinden akarken bir tahminin nasıl yavaş yavaş oluştuğunu ortaya koyuyorlar.
Logit lens ne işe yarar?
Logit merceği, her derinlikte modelin tahmin edilen belirteçlerini görmek için mevcut ayırma yoluyla ara artık akış durumlarını yansıtır.
Ayarlanmış lens, ham logit lense göre hangi önemli gelişmeyi sağlıyor?
Ayarlanmış lens, katman başına doğrusal bir çeviriciyi öğrenir, önyargıları düzeltir ve ham logit lense göre daha güvenilir, daha düşük karmaşıklığa sahip okumalar sağlar.
Transformatörlerdeki hangi yapı bu lensleri mümkün kılıyor?
Her katman, paylaşılan bir artık akışa ek güncellemeler yazar, böylece bu akışın erken yansıtılması, bir ara tahmine yaklaşır.
Orijinal logit lensi kim ve yaklaşık olarak ne zaman tanıttı?
Logit merceği, Nostalgebraist tarafından GPT-2'nin ara tahminlerini analiz eden 2020 tarihli bir blog yazısında tanıtıldı.
Logit lens genellikle nihai cevabı 'kristalleşme' olarak nerede gösterir?
Okumalar genellikle hesaplama biriktikçe orta ve son katmanlarda doğru token kazanma olasılığını gösterir.