Logit Önyargısı
Logit yanlılığı, model bir sonraki kelimeyi seçmeden önce puanlarına sabit bir sayı ekleyerek dil modelini belirli belirteçlere doğru veya belirli belirteçlerden uzaklaştıran bir düğmedir.
Genel Bakış
It is a lightweight way to ban words, force choices, or shape style without retraining anything.
Derin Dalış
Bir model bir sonraki jetonunu seçmeden önce, sözlüğündeki her jeton için bir logit (normalleştirilmemiş bir puan) üretir. Logit önyargısı, seçilen tokenlerin logitlerine sayısal token kimliklerine göre sabit bir değer eklemenizi sağlar. Büyük bir pozitif önyargı, bir tokenın örneklenme olasılığını çok daha yüksek hale getirir; büyük bir negatif önyargı (API'lerde genellikle -100) bunu etkili bir şekilde yasaklar. Ayarlama, puanları olasılığa dönüştüren softmax'tan önce gerçekleştiği için, en küçük önyargılar bile dağılımı anlamlı bir şekilde değiştirir. Daha da önemlisi, önyargı tam kelimelere değil belirteç kimliklerine göre ayarlanmıştır; bu nedenle, çok belirteçli bir kelimenin onu tamamen bastırmak veya tanıtmak için her bir parçasının önyargılı olması gerekebilir. Hiçbir ince ayar gerektirmeyen, isteğe göre uygulanan, hızlı, cerrahi bir kontroldür.
Teknik Bilgi
Logitler gerçek değerli puanlardır; softmax bunları üstelleştirir, bu nedenle bir belirtece +5 eklemek, normalleştirmeden önce normalleştirilmemiş ağırlığını e^5 (~148x) ile çarpar. -100 eklemek, softmax sonrası olasılığını esasen sıfıra iter. Tokenlaştırıcılar alt kelime birimleri kullandığından 'mutsuz' kelimesi iki token olabilir; yalnızca ilk parçaya ağırlık vermek onu tam olarak kontrol etmeyecektir. Bu alt kelime ayrıntı düzeyi, insanlar belirli bir kelimeyi yasaklamaya çalıştığında ve yine de kısmen sızdığında asıl sorundur.
Stratejik Etki
Speed and scale
Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir.
Access and reach
Diller ve iletişim tarzları arasında erişimi genişletir.
Daha net kararlar
Otomasyon tekrarlamayı yönetirken ekipler karar vermeye daha fazla zaman ayırabilir.
Logit Bias'ın Geleceği
Logit yanlılığı hızlı yönlendirme için temel bir unsur olmaya devam ediyor, ancak daha zengin alternatifler artıyor: kesin garantiler için yapılandırılmış/kısıtlanmış kod çözme ve yalnızca çıktı puanları yerine bir modelin dahili vektörlerini dürtükleyen etkinleştirme yönlendirmesi veya temsil mühendisliği. API'lerin, geliştiricilerin ham belirteç kimlikleri hakkında mantık yürütmek zorunda kalmaması için tokenizasyonu otomatik olarak yöneten daha yüksek düzeyde kontroller (yasaklı ifadeler, stil yönergeleri, güvenlik filtreleri) sunarken logit önyargısını basit bir kaçış yolu olarak tutmasını bekleyin.
Gerçek Dünya Uygulaması
Bir sohbet robotunun belirli kelimeleri üretmesini önlemek için küfür belirteçlerine -100 oranında bir önyargı ayarlamak.
'Evet' ve 'Hayır' belirteçlerine güçlü bir pozitif önyargı vererek ve diğer her şeyi bastırarak bir evet/hayır sınıflandırıcısını zorlamak.
Belirteçlerine orta derecede olumsuz bir önyargı uygulayarak aşırı kullanılan bir ifadeyi veya dolgu kelimesini caydırmak.
Özetleyicinin güvenilir bir şekilde bunlardan bahsetmesi için alana özgü terimlerin (ürün adı gibi) öne çıkarılması.
Riskler ve Korkuluklar
Halüsinasyonlu gerçekler sessizce raporlara, destek akışlarına veya araştırma çıktılarına girebilir.
İstem hassasiyeti, benzer istekler arasında tutarsız sonuçlar yaratabilir.
Erişim kontrolleri zayıfsa hassas metin verileri açığa çıkabilir.
Uygulama Yol Haritası
Kullanıma sunmadan önce çıktı formatını, tonunu ve kalite standartlarını tanımlayın.
Doğruluğun önemli olduğu durumlarda güvenilir kaynaklarla zemin müdahaleleri.
Yüksek riskli çıktılar için insan incelemesi kontrol noktası bulundurun.
Arıza modellerini takip edin ve istemleri veya iş akışlarını düzenli olarak yeniden eğitin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Logit Bias quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
ALiBi Pozisyon Önyargısı
Sık sorulan sorular
What is Logit Bias?
Logit yanlılığı, model bir sonraki kelimeyi seçmeden önce puanlarına sabit bir sayı ekleyerek dil modelini belirli belirteçlere doğru veya belirli belirteçlerden uzaklaştıran bir düğmedir. Hiçbir şeyi yeniden eğitmeden kelimeleri yasaklamanın, seçimleri zorlamanın veya stili şekillendirmenin hafif bir yoludur.
Logit yanlılığı neyi değiştirir?
Logit yanlılığı, modelin kendisini değiştirmeden seçilen token kimliklerinin logitlerine bir sabit ekleyerek bunların seçilme olasılığını değiştirir.
Pek çok API'de, bir belirteçteki -100'lük logit sapması ne işe yarar?
-100 gibi büyük bir negatif önyargı, tokenin softmax sonrası olasılığını esasen sıfıra indirir, dolayısıyla neredeyse hiç üretilmez.
Logit önyargılı bir kelimeyi yasaklamak neden bazen kısmi çıktıyı sızdırıyor?
Belirteçler birçok kelimeyi birden fazla alt kelime belirtecine böler, bu nedenle yalnızca ilk parçaya ağırlık vermek, kelimenin tamamını bastıramaz.
Logit yanlılığı hangi tanımlayıcıya bağlıdır?
Önyargı değerleri, belirteç oluşturucunun sözlüğündeki belirli belirteç kimliklerine uygulanır; bu nedenle, bir kelimenin parçalarına ilişkin kimlikleri bilmeniz gerekir.
Logitler bir softmax'tan geçtiği için pozitif bir önyargı eklemenin etkisi nedir?
Softmax logitleri üstel hale getirir, böylece mütevazı bir pozitif önyargı bile tokenin normalleştirilmemiş ağırlığını önemli ölçüde çarparak olasılıklarını keskin bir şekilde artırır.