Yapay Zeka Sözlüğü Terimi

BPE (Bayt Çifti Kodlama) nedir?

Tanım

En sık görülen karakter çiftlerini yeniden kullanılabilir belirteçler halinde birleştiren bir alt sözcük belirleme algoritması.

Yapay Zeka Sözlüğünün tamamına göz atınTüm ücretsiz AI kılavuzlarını keşfedin

İlgili terimler

TokenleştirmeModel girişi için metni belirteçlere bölme işlemi.OCR (Optik Karakter Tanıma)Görüntülerdeki veya taramalardaki metni makine tarafından okunabilir metne dönüştüren teknoloji.Top-k ÖrneklemeYalnızca büyük olasılıkla sonraki k jetondan örnek alan bir kod çözme stratejisi.Geri yayılımTahmin hatalarını ağ üzerinden geriye doğru yayarak model ağırlıklarını güncelleyen temel eğitim algoritması.Çift KodlayıcıSorguları ve belgeleri ayrı vektörler halinde kodlayarak bunların ölçekte hızlı bir şekilde karşılaştırılabilmesini sağlayan bir model.Işın AramaDaha yüksek olasılıklı çıktılar bulmak için her adımda en üstteki birkaç aday diziyi tutan bir kod çözme algoritması.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

ByteDance DoubaoCycleGAN Unpaired TranslationTokenizer-Free Byte-Level ModelsInstant-NGP Hash Encoding

Ayrıca bakınız

Sliding Window AttentionSentencePieceALiBiANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSWPositional EncodingReranker