Kısıtlı Kod Çözme
Kısıtlı kod çözme, bir dil modelini, yapıyı bozabilecek herhangi bir belirteci engelleyerek geçerli JSON, bir regex modeli veya sabit bir seçim kümesi gibi katı kurallara uyan çıktılar oluşturmaya zorlar.
Genel Bakış
It turns a probabilistic text generator into a reliable producer of machine-parseable output.
Derin Dalış
Bir dil modeli normalde bir sonraki belirteci tüm sözlüğünden örnekler, dolayısıyla hiçbir şey onun JSON ayrıştırmasını bozan başıboş bir virgül veya dengesiz bir parantez üretmesini engellemez. Kısıtlı kod çözme, oluşturmanın yanı sıra bir dilbilgisi veya durum makinesini koruyarak bunu düzeltir. Her adımda sistem, o ana kadar üretilenler göz önüne alındığında hangi tokenlerin yasal olduğunu hesaplıyor ve ardından örneklemeden önce her yasadışı tokenin olasılığını maskeliyor (negatif sonsuza ayarlıyor). JSON için bu, bir açılış parantezinden sonra yalnızca tırnak işaretine veya kapanış parantezine izin verildiği anlamına gelir; bir tuştan sonra yalnızca iki nokta üst üste gelir. Yaygın uygulamalar bağlamdan bağımsız gramerleri (llama.cpp'deki GBNF gibi), JSON Şemalarını veya düzenli ifadeleri bu belirteç düzeyindeki maskelerde derleyerek çıktının umuttan ziyade yapısal olarak geçerli olduğunu garanti eder.
Teknik Bilgi
Çekirdek mekanizma, softmax'tan önce logitlere uygulanan bir jeton maskesidir. Bir ayrıştırıcı geçerli dilbilgisi durumunu izler; bu durum için izin verilen sonraki jetonların kümesini önceden hesaplar ve kod çözücü diğerlerinin olasılığını sıfırlar. İşin zor kısmı, belirteçleyicilerin metni dilbilgisi sembolleriyle hizalanmayan alt sözcük parçalarına bölmesidir; bu nedenle Outlines veya XGrammar gibi kütüphaneler, genellikle hız için önbelleğe alınan gerçek belirteç sözlüğüne dilbilgisi geçişlerini otomatik olarak eşleyen bir harita oluşturur.
Stratejik Etki
Speed and scale
Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir.
Access and reach
Diller ve iletişim tarzları arasında erişimi genişletir.
Daha net kararlar
Otomasyon tekrarlamayı yönetirken ekipler karar vermeye daha fazla zaman ayırabilir.
Kısıtlı Kod Çözmenin Geleceği
Kısıtlı kod çözme, bir eklenti yerine varsayılan bir özellik haline geliyor: sağlayıcılar artık sunucu tarafında şema uyumluluğunu garanti eden 'yapılandırılmış çıktıları' ve 'JSON modunu' kullanıma sunuyor. Daha hızlı dilbilgisi derlemesi, önceden hesaplanmış otomatalarda daha düşük gecikme süresi ve her model yanıtının koda temiz bir şekilde yerleştirilmesi gereken araç çağırma ve aracı çerçeveleriyle daha sıkı entegrasyon bekleyebilirsiniz. Araştırmalar, modelin akıcılığından ödün vermeden daha zengin kısıtlamalara (tip sistemleri, tam programlama dili gramerleri ve anlamsal kontroller) doğru ilerlemektedir.
Gerçek Dünya Uygulaması
Bir LLM'yi, önceden tanımlanmış bir şemayla tam olarak eşleşen JSON yayınlamaya zorlamak, böylece aşağı akış kodunun, korumaları denemeden/hariç olarak ayrıştırabilmesini sağlar.
Bir sınıflandırma modelinin cevabını 'pozitif', 'negatif' veya 'nötr' gibi sabit bir etiket kümesinden biriyle sınırlamak ve başka hiçbir şeyle sınırlamak.
Araç kullanımı için sözdizimsel olarak geçerli SQL veya işlev çağrısı bağımsız değişkenleri oluşturma; burada hatalı biçimlendirilmiş bir belirteç, yürütücüyü çökertebilir.
Telefon numarası, ISO tarihi veya sabit formatlı ürün kodu gibi normal bir ifadeye uygun çıktı üretmek.
Riskler ve Korkuluklar
Halüsinasyonlu gerçekler sessizce raporlara, destek akışlarına veya araştırma çıktılarına girebilir.
İstem hassasiyeti, benzer istekler arasında tutarsız sonuçlar yaratabilir.
Erişim kontrolleri zayıfsa hassas metin verileri açığa çıkabilir.
Uygulama Yol Haritası
Kullanıma sunmadan önce çıktı formatını, tonunu ve kalite standartlarını tanımlayın.
Doğruluğun önemli olduğu durumlarda güvenilir kaynaklarla zemin müdahaleleri.
Yüksek riskli çıktılar için insan incelemesi kontrol noktası bulundurun.
Arıza modellerini takip edin ve istemleri veya iş akışlarını düzenli olarak yeniden eğitin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Constrained Decoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Karşılaştırmalı Kod Çözme
Sık sorulan sorular
What is Constrained Decoding?
Kısıtlı kod çözme, bir dil modelini, yapıyı bozabilecek herhangi bir belirteci engelleyerek geçerli JSON, bir regex modeli veya sabit bir seçim kümesi gibi katı kurallara uyan çıktılar oluşturmaya zorlar. Olasılıksal bir metin oluşturucuyu, makine tarafından ayrıştırılabilen güvenilir bir çıktı üreticisine dönüştürür.
Kısıtlı kod çözme her nesil adımında temel olarak ne yapar?
Kısıtlı kod çözme, dilbilgisi durumu göz önüne alındığında hangi belirteçlerin yasal olduğunu hesaplar ve model örneklerinden önce tüm yasa dışı belirteçlerin olasılığını etkili bir şekilde sıfıra ayarlar.
Kısıtlı kod çözme, JSON çıktısı üretmek için neden faydalıdır?
Yalnızca JSON dilbilgisini geçerli tutan belirteçlere izin verildiğinde, çıktıda dengesiz parantezler veya yanlış yerleştirilmiş virgüller bulunamaz, dolayısıyla güvenilir bir şekilde ayrıştırılır.
Kısıtlı kod çözmenin uygulanmasını zorlaştıran teknik zorluk nedir?
Belirteçleyiciler, metni dilbilgisi sınırlarını kapsayan veya bölen alt sözcük parçalarına böler; bu nedenle kütüphanelerin, dilbilgisi geçişlerini gerçek belirteç sözlüğüne eşlemesi gerekir.
Bunlardan hangisi kod çözme kısıtlamalarını belirtmek için kullanılan gerçek bir formattır?
JSON Şemaları, bağlamdan bağımsız dilbilgileri (GBNF gibi) ve düzenli ifadeler genellikle yapıyı zorlayan belirteç maskelerinde derlenir.
Kısıtlama maskesi tipik olarak işlem hattının hangi noktasında uygulanır?
Maske ham logitlere uygulanır, böylece bir sonraki jeton örneklendiğinde yasa dışı jetonların ihmal edilebilir bir olasılığa sahip olması sağlanır.