Bias Logit
Bias logit adalah tombol yang mendorong model bahasa mendekati atau menjauhi token tertentu dengan menambahkan angka tetap pada skornya sebelum model memilih kata berikutnya.
Ikhtisar
It is a lightweight way to ban words, force choices, or shape style without retraining anything.
Menyelam Lebih Dalam
Sebelum model memilih token berikutnya, model menghasilkan logit (skor yang tidak dinormalisasi) untuk setiap token dalam kosakatanya. Bias logit memungkinkan Anda menambahkan nilai konstan ke logit token yang dipilih berdasarkan ID token numeriknya. Bias positif yang besar membuat token lebih mungkin untuk dijadikan sampel; bias negatif yang besar (seringkali -100 pada API) secara efektif menghalangi hal tersebut. Karena penyesuaian terjadi sebelum softmax yang mengubah skor menjadi probabilitas, bahkan bias kecil pun dapat menggeser distribusi secara berarti. Yang terpenting, bias tersebut terletak pada ID token, bukan seluruh kata — sehingga kata multi-token mungkin memerlukan setiap bagiannya yang bias untuk sepenuhnya menekan atau mempromosikannya. Ini adalah kontrol bedah yang cepat dan tidak memerlukan penyesuaian dan dapat diterapkan sesuai permintaan.
Wawasan Teknis
Logit adalah skor yang bernilai nyata; softmax memperpangkatkannya, jadi menambahkan +5 ke token akan mengalikan bobotnya yang tidak dinormalisasi sebesar e^5 (~148x) sebelum normalisasi. Menambahkan -100 akan mendorong probabilitas pasca-softmax menjadi nol. Karena pembuat token menggunakan unit subkata, kata 'tidak bahagia' mungkin terdiri dari dua token; hanya membiaskan bagian pertama tidak akan sepenuhnya mengendalikannya. Perincian subkata itu adalah masalah utama ketika orang mencoba melarang kata tertentu dan kata itu masih bocor sebagian.
Dampak Strategis
Kecepatan dan skala
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Access and reach
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Clearer decisions
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Masa Depan Bias Logit
Bias logit tetap menjadi hal yang penting dalam pengendalian cepat, namun alternatif yang lebih kaya kini semakin berkembang: penguraian kode terstruktur/terbatas untuk jaminan keras, dan pengarah aktivasi atau rekayasa representasi yang mendorong vektor internal model, bukan sekadar skor keluaran. Harapkan API untuk menjaga bias logit sebagai jalan keluar sederhana sambil menawarkan kontrol tingkat yang lebih tinggi — frasa yang dilarang, arahan gaya, filter keamanan — yang menangani tokenisasi secara otomatis sehingga pengembang tidak perlu memikirkan ID token mentah.
Implementasi Dunia Nyata
Menetapkan bias -100 pada token kata-kata kotor untuk mencegah chatbot mengeluarkan kata-kata tertentu.
Memaksakan pengklasifikasi ya/tidak dengan memberikan bias positif yang kuat pada token 'Ya' dan 'Tidak' dan menekan yang lainnya.
Mencegah penggunaan frasa atau kata pengisi yang berlebihan dengan menerapkan bias negatif yang moderat pada tokennya.
Meningkatkan istilah khusus domain (seperti nama produk) sehingga peringkas dapat menyebutkannya dengan andal.
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Logit Bias quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Bias Posisi ALiBi
Pertanyaan yang sering diajukan
What is Logit Bias?
Bias logit adalah tombol yang mendorong model bahasa mendekati atau menjauhi token tertentu dengan menambahkan angka tetap pada skornya sebelum model memilih kata berikutnya. Ini adalah cara ringan untuk melarang kata-kata, memaksakan pilihan, atau gaya bentuk tanpa melatih ulang apa pun.
Apa yang dimodifikasi oleh logit bias?
Bias logit menambahkan konstanta ke logit ID token yang dipilih, mengubah seberapa besar kemungkinan ID token tersebut dipilih, tanpa mengubah model itu sendiri.
Di banyak API, apa yang dicapai oleh bias logit -100 pada sebuah token?
Bias negatif yang besar seperti -100 mendorong probabilitas pasca-softmax token menjadi nol, sehingga hampir tidak pernah diproduksi.
Mengapa pelarangan kata dengan bias logit terkadang membocorkan sebagian keluaran?
Pembuat token membagi banyak kata menjadi beberapa token subkata, sehingga hanya membiaskan bagian pertama yang gagal untuk menyembunyikan seluruh kata.
Bias logit dikunci pada pengidentifikasi apa?
Nilai bias diterapkan pada ID token tertentu dari kosakata pembuat token, itulah sebabnya Anda harus mengetahui ID untuk potongan sebuah kata.
Karena logit dilewatkan melalui softmax, apa efek penambahan bias positif?
Softmax memperpangkatkan logit, sehingga bahkan bias positif yang sederhana pun akan melipatgandakan bobot token yang tidak dinormalisasi secara substansial, sehingga secara tajam meningkatkan peluangnya.