What is Speculative Decoding? Definition | AI Understanding

Tanım

Küçük bir taslak modelin, daha büyük bir modelin paralel olarak doğruladığı belirteçleri önerdiği bir çıkarım hızlandırma yöntemi.

İlgili terimler

Kullanıma Dayalı Faturalandırma

Maliyetlerin API çağrıları, belirteçler, çıkarım süresi veya tüketilen bilgi işlem ile ölçeklendiği fiyatlandırma.

Sürgülü Pencere Dikkat

İşlemi azaltmak için her belirtecin yalnızca yakındaki belirteçlerin sabit boyutlu bir penceresine katıldığı bir dikkat modeli.

Eğitilmiş bir modelin tahminler veya çıktılar ürettiği çalışma zamanı aşaması.

RAG (Geri Alma-Artırılmış Nesil)

Dış bilgiyi alan ve onu çıkarım anında nesile aktaran bir yöntem.

Top-k Örnekleme

Yalnızca büyük olasılıkla sonraki k jetondan örnek alan bir kod çözme stratejisi.

Damıtılmış Model

Çıkarımda daha az işlem kullanırken daha büyük bir modelin davranışını taklit etmek üzere eğitilmiş daha küçük bir model.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

Contrastive Decoding Minimum Bayes Risk Decoding Speculative Sampling Verification Self-Consistency Decoding

See also

Zero Data Retention KV Cache MCP (Model Context Protocol)Trust Calibration Agentic Loop Test-Time Compute ReAct Structured Output

Yapay Zeka Sözlüğünün tamamına göz atın Tüm ücretsiz AI kılavuzlarını keşfedin